前方切换“极客模式” 深度学习开发者峰会PaddlePaddle 11项重磅全盘点
返回列表

2019-04-24 18:20:50

   迈入开源第三年,深度学习平台PaddlePaddle又发重磅升级。

   4月23日,由深度学习技术及应用国家工程实验室与百度联合主办的首届WAVE SUMMIT 2019深度学习开发者峰会上,PaddlePaddle首秀全景图,并连抛11项重磅发布!

1.png

   开发环节,全新发布工业级NLP开源工具集PaddleNLP,以及业界首个视频识别工具集;训练环节,展现大规模分布式训练、工业级数据处理两大特性;部署环节,首发预测服务Paddle Serving和用于模型压缩的PaddleSlim;工具方面,首发预训练模型管理工具PaddleHub、深度强化学习工具PARL重要升级、自动化网络结构设计AutoDL Design正式开源;服务方面,发布了价值一亿人民币的算力支持计划以及企业深度学习实战营。

深度学习推动人工智能进入工业大生产阶段,深度学习框架是智能时代的操作系统。从开发、训练、部署、工具到服务,PaddlePaddle展现了历经产业实践打磨的“趁手利器”所拥有的全面、稳定与高效。

一、 开发:新增NLP、视频两大模型工具集

   在模型库方面,PaddlePaddle已开源 60 多个经过真实业务场景验证的官方模型,涵盖视觉、自然语言处理、推荐等 AI 核心技术领域,成为官方支持模型最多的深度学习平台。而此次,PaddlePaddle再次全新发布工业级NLP开源工具与预训练模型集PaddleNLP,以及业界首个视频识别工具集。

2.jpg

   PaddleNLP是基于PaddlePaddle 打造的面向工业应用的中文NLP工具集,覆盖全面的中文处理任务,工业使用效果突出。PaddleNLP提供全面丰富的中文处理任务,并拥有当前业内效果最好的中文语义表示模型ERNIE和基于用户大数据训练的应用任务模型。基于PaddlePaddle深度学习框架构建的基础NLP算法模型和NLP应用任务的灵活组合,同类型算法模型可灵活插拔,真正高效易用。

3.jpg

   此外,PaddlePaddle还发布了业界首个视频识别工具集,旨在为开发者提供解决视频理解、视频编辑、视频生成等一系列任务的便捷、高效的模型。工具集提供了适合视频任务的通用骨架代码,覆盖视频识别方向的7大主流领先模型,包括StNet、Attention LSTM 、Attention Cluster三大帮助百度视觉团队夺得国际竞赛冠军的自研领先模型。目前,该领先的视频理解技术已在百度多项核心业务中使用,如百度 Feed 流,百度搜索,百度云 VCA 系统等,视频标签集Top5准确率达到96%,百度 Feed 流短视频分类全免人审。

二、 训练:业界最强的超大规模并行深度学习能力

4.jpg

   训练环节,超大规模深度学习并行技术一直是PaddlePaddle的优势之一。此次大规模分布式训练主要从三方面实现了升级,首先是对多机多卡训练的的全面支持,实现了良好的可扩展性。同时发布了针对网络条件不好的情况下的稀疏通信技术,大幅降低了带宽对训练速度的影响。

   其次,针对超大规模稀疏参数的挑战,设计并开放了大规模稀疏参数服务器,开发者可轻松下载相关镜像使用。基于真实的推荐场景的数据验证,PaddlePaddle 在 100 节点*10线程/节点的情况下,根据batch size的不同吞吐量可达 60 万~ 140 万 /s,每小时可处理20 ~ 50亿数据,且达到batch size为 512 的情况下90%的加速比。该系统已应用于百度feed流以及凤巢商业推广系统中,可有效地解决超大规模推荐系统、超大规模数据、自膨胀的海量特征及高频率模型迭代的问题,拥有超大吞吐量及高效率。

   第三,大规模分布式训练支持在各种容器上高速运行,同时支持在K8S生态下使用PaddlePaddle进行训练。

在这种大规模数据场景下,数据的吞吐非常关键,对于数据做处理往往是一大痛点,对此,PaddlePaddle研发了数据处理组件方便开发者使用。优化分布式IO,增加远程文件系统流式读取能力。GPU多机多卡同步训练通过增加稀疏通信能力提升带宽不敏感训练能力,在低配网络带宽网络环境下,例如10G网络下,同步训练可提速10倍。

三、部署:首发预测服务Paddle Serving、用于模型压缩的PaddleSlim

   开发和训练后,将模型部署到各种应用场景下是非常关键的一个步骤。部署环节需要高速的推理引擎,在此基础上,为了部署在更多的硬件上往往需要做模型压缩,在真正使用时,还需要软硬一体能力的支持。

5.jpg

(PaddlePaddle端到端全流程部署方案)

   目前,PaddlePaddle提供完整的端到端的全流程部署方案。基于多硬件的支持,PaddlePaddle提供性能全面领先的底层加速库和推理引擎。此次大会,PaddlePaddle全新发布了预测服务Paddle Serving,以及用于模型压缩的PaddleSlim。

6.jpg

   Paddle Serving可与核心框架的模型训练环节无缝衔接,提供深度学习预测云服务,内置模型,可批量预测。Paddle Serving目前已在百度的很多产品线使用。

7.jpg

   而PaddleSlim实现基于PaddlePaddle的模型压缩,能够在精度损失较小的情况下高效进行模型体积压缩,覆盖目前主流的网络剪枝、量化、蒸馏三种压缩策略。参数集中管理,两行python代码即可调用自动化模型压缩。针对体积已经很小的MobileNet模型,它仍能在模型效果不损失的前提下实现70%以上的体积压缩。

四、工具:开源AutoDL Design、升级PARL、首发PaddleHub

   灵活、高效、易用是PaddlePaddle大受欢迎的重要原因。在多项全新发布及重磅升级中,工具组件方面显得尤为突出。此次,PaddlePaddle不仅重磅开源AutoDL Design、升级深度强化学习框架PARL,并首次提出并发布预训练模型管理工具PaddleHub。

8.jpg

   传统的神经网络的结构设计是由人根据经验设计,并不断的进行调参训练获得最优结果,这个过程较为复杂和费时费力。AutoDL Design自动化网络结构设计是用深度学习设计深度学习,理想状态下,只需要使用者提供一份数据集,整个系统就可以根据数据集自身,不断尝试不同类型的网络结构和连接方式,训练若干个神经网络模型,逐步进行自动化反复迭代和尝试,产出模型。本次重磅开源了基于PaddlePaddle实现的AutoDL Design源码, 以及在CIFAR-10数据集上训练出来的一共6个模型,这6个模型进行融合,可获得超过98%的准确率。

9.jpg

   PARL是一款基于百度PaddlePaddle打造的深度强化学习工具,继1.0版本开源了NeurIPS 2018假肢挑战赛冠军训练代码以及主流强化学习模型后,本次升级聚焦并行,通过一个简单的修饰符即可实现并行化。数据预处理以及simulator仿真等计算密集型的任务经过这个修饰符之后,会自动部署到用户指定的计算资源上运行,不再占用主线程的计算资源。以通过PARL实现的IMPALA算法的评估结果为例,在雅达利这个经典评测环境中 ,Pong 游戏最快可在7分钟内达到20分,breakout游戏在25分钟达到400分。

10.jpg

   PaddleHub是一款简明易用的预训练模型管理框架,提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能,旨在帮助用户更高效地管理模型并开展迁移学习的工作。

模型管理上通过hub命令行可完成基于PaddlePaddle的预训练模型下载、搜索、版本管理等功能。无需代码,通过命令行即可直接使用预训练模型进行预测,快速调研训练模型效果。迁移学习方面,提供了基于预训练模型的Finetune API。活动现场,马艳军演示了低至10行代码即完成迁移学习的惊艳Demo。

五、服务:算力支持计划,价值一亿人民币!

算力是深度学习发展不可或缺的重要“能源”。为此PaddlePaddle宣布了一个振奋全场的“土豪”计划——百度一站式开发平台AI Studio重磅推出价值一亿人民币的算力支持计划,为开发者破除算力桎梏。

11.jpg

   据悉,免费算力主要以两种模式提供,第一种是一人一卡模式,使用邀请码即可获赠算力时长。另外一种是远程集群模式,PaddlePaddle提供高性能集群,开发者只需登录AI Studio,便可以免费使用。

12.jpg

   百度对于深度学习开发者的支持不仅于此。面向高校,推出深度学习师资培训班、协同育人专项基金、AI Studio教育版。面向开发者,提供免费在线课程、免费算力支持、并举办不间断的赛事互动。面向企业,推出深度学习架构师培养计划黄埔学院,此次进一步推出了可覆盖1000家企业的企业深度学习实战营——AI快车道。

更精进的基础框架设计、更丰富的算法模型、更强大的系统性能和稳定性、更完备的异构硬件支持、更全面贴心的开发者生态……开源三年,PaddlePaddle始终在实践中不断锻造锤炼,为中国开发者打造趁手“神兵”。

   风云骤起的智能时代何以亮剑?或许PaddlePaddle可以成为你的选择。

首页| 实验室概况| 机构设置| 新闻动态| 研究方向| 共享服务| 联系我们
©2017 Baidu 使用百度前必读