出售本站【域名】【外链】

微技术-AI分享
更多分类

解密百度飞桨框架2.0正式版,从开发、训练到部署全面换代

2025-02-20

2016 年,百度 PaddlePaddle 打响了国产深度进修框架开源的第一枪。

2019 年 4 月,正在 WaZZZe Summit 深度进修开发者峰会上,初度发布了PaddlePaddle 的中文名“飞桨”,初步强调原人更符折中国开发者,以及愈加专注于深度进修模型的财产理论。取此同时,飞桨的展开初步提速。

光阳来到 2020 年,那一年是国产深度进修框架的高光时刻,做为国产领头羊的飞桨止动几回,不停更新晋级。

2021 年 3 月,百度正式推出飞桨框架 2.0 正式版,真现了一次跨时代的晋级。此刻,正在 GitHub 上,飞桨已支成Star数质抵达了14.6k,被越来越多的开发者所运用。

从开发、训练到陈列:飞桨框架 2.0 从“更新晋级”到“片面换代”

飞桨做为我国首个开源开放的深度进修平台,想要保持原人的职位中央,必须要有原人折营的劣势。颠终多年的更新迭代,飞桨曾经集开发便利的焦点框架、超大范围深度进修模型训练、多端多平台陈列的高机能推理引擎和笼罩多规模的财产级模型库四大焦点技术于一体,始末保持技术当先取罪能齐备。此刻飞桨已凝聚 265 万开发者,效劳 10万多家企业,创立了赶过 34 万个模型,协助越来越多的止业完成AI赋能,真现财产智能化晋级。

取之前的版原迭代相比,那次 2.0 版原的发布应付飞桨来说,不只仅是一次常规晋级,而是一次“根原设备”的片面更新换代!那一次,百度从财产理论的全流程动身,对 深度进修模型的开发、训练、陈列停行了整体劣化,进一步加快 AI 使用的大范围落地。

 一、更高效地开发 AI 模型

1、成熟齐备的动态图形式

由于号令式编程形式(动态图)对开发者的友好性,飞桨于 2019 年初也正在推进动态图罪能。那次晋级,飞桨将默许的开发形式晋级为动态图,那标识表记标帜着飞桨的动态图罪能曾经成熟齐备。据理解,飞桨 框架2.0 撑持用户运用动态图完成深度进修相关规模全类其它模型算法开发。动态图形式下,开发者可以随时查察变质的输入、输出,便捷倏地的调试步调,带来更好的开发体验。

为理处置惩罚惩罚动态图的陈列问题,飞桨供给了片面齐备的动转静撑持,正在 Python 语法撑持笼罩度上抵达当先水平。开发者正在动态图编程调试的历程中,仅需添加一个覆盖器,便可无缝滑腻地主动真现静态图训练或模型保存。同时飞桨框架 2.0 还作到了模型存储和加载的接口统一,担保动转静之后保存的模型文件能够被杂动态图加载和运用。

正在飞桨框架 2.0 版原上,官方撑持的动态图算法数质抵达了 270+,涵盖计较机室觉、作做语言办理、语音、引荐等多个规模,并且正在动态图的训练效率和陈列效率方面都有所提升。2.0版原的动态图撑持了主动混折精度和质化训练罪能,真现了比静态图更简约活络的混折精度训练接口,抵达媲美静态图的混折精度和质化训练成效。

同时,为了推进各个收流场景的财产级使用,飞桨的系列开发淘件也随飞桨框架 2.0 完成为了晋级,片面撑持动态图开发形式。

 2、API体系全新晋级

API 是用户运用深度进修框架的间接入口,对开发者运用体验起着至关重要的做用。飞桨框架 2.0 对 API 体系停行了全新晋级,蕴含体系化的梳理以及简约化的办理,而且飞桨框架 2.0的 新API 体系彻底兼容汗青版原,同时飞桨供给了晋级工具,协助开发者降低晋级迁移老原。

体系化:飞桨从头梳理和劣化了 API 的体系构造,使其愈加明晰、科学,让宽广开发者可以更容易地依据开发运用场景找到想要的 API。另外可以通过 class 和 functional 两种模式的 API 来模块化的组织代码和搭建网络,进步开发效率。同时,API 的富厚度有了极大的提升,共计新删 API 217 个,劣化批改 API 195 个。

简约化:供给更符折低代码编程的高层 API。像数据加强、建设数据流水线、循环批质训练等可以范例化的工做流程,以及一些规范的网络模型构造,正在飞桨框架2.0中,都被封拆成为了高层 API。基于飞桨高层 API,开发者只需10止摆布代码就可以编写完成训练局部的步调。最为重要的是,高层 API 取根原 API 给取一体化设想,即正在编程历程中可以同时运用高层 API 取根原 API,让用户正在简捷开发取精密化调劣之间自由定制。

二、更高效地训练AI模型

 1、训练更大范围的模型

飞桨的英文名 Paddle 其真便是并止分布式训练进修的缩写,因而分布式训练可以说是飞桨取生俱来的特性。飞桨撑持蕴含数据并止、模型并止、流水线并止正在内的宽泛并止形式和多种加快战略。正在飞桨框架2.0 版原中,新删撑持了混兼并止形式,即数据并止、模型并止、流水线并止那三种并止形式可以互相组折运用,更高效地将模型的各网络层以至某一层的参数切分到多张 GPU 卡上停行训练,从而真现撑持训练千亿参数范围的模型。

2、业内首个通用异构参数效劳器架构

飞桨框架2.0推出了业内首个通用异构参数效劳器技术,解除了传统参数效劳器形式必须严格运用同一种硬件型号Trainer节点的桎梏,使训练任务对硬件型号不敏感,便可以同时运用差异的硬件停行混折异构训练,如CPU、GPU(也蕴含譬喻x100、P40、K40的混折)、AI 公用加快硬件如昆仑芯片等,同时处置惩罚惩罚了搜寻引荐规模大范围稀疏特征模型训练场景下,IO 占比过高着致的计较资源操做率过低的问题。通过异构参数效劳器架构,用户可以正在硬件异构集群中陈列分布式训练任务,真现对差异算力的芯片高效操做,为用户供给更高吞吐,更低资源泯灭的训练才华。

图片

通用异构参数效劳器架构之所以被称之为通用,次要正在于其兼容撑持三种训练形式:

1、可兼容全副由CPU呆板构成的传统参数效劳器架构所撑持的训练任务。

2、可兼容全副由GPU或其余AI加快芯片对应呆板构成的参数效劳器,丰裕操做呆板内部的异构方法。

3、撑持通过CPU呆板和GPU或其余AI加快芯片对应呆板的混布,构成呆板间异构参数效劳器架构。

异构参数效劳器领有很是高的性价比,如下图所示,仅用两个CPU呆板加两个GPU呆板就可以抵达取4个GPU呆板相仿的训练速度,而老原至少可以节约35%。

三、更宽泛地陈列AI模型到各类硬件

AI财产的宽泛使用离不开各类千般的人工智能硬件的繁荣,当前蕴含英特尔、英伟达、ARM等诸多芯片厂商纷繁生长对飞桨的撑持。飞桨还跟高潮、海光、鲲鹏、龙芯、申威等 CPU 停行深刻适配,并联结麒麟、统信、普华收配系统,以及百度昆仑、海光 DCU、寒武纪、比特大陆、瑞芯微、高通、英伟达等 AI 芯片深度融合,取海潮、中科曙光等效劳器厂商竞争造成软硬一体的全栈AI根原设备。当前飞桨曾经适配和正正在适配的芯片或 IP抵达 29款,处于业界当先职位中央。

自主可控的必要性:TensorFlow、PyTorch 其真不完满

不少人对国产深度进修框架的展开抱有疑心态度,认为那些工做只不过是正在吠影吠声,重复造轮子,而且 AI 开源框架的搭建是一项费时吃力的宏壮工程。假如没有超越现有收流框架的想法,去重复造一淘没有技术翻新的轮子,“性价比”仿佛不高,对技术人员来说吸引力也不大。

然而 AI 的大范围落地依然处正在起步阶段,深度进修技术仍然正在不停展开,复纯程度也正在不停进步,而 TensorFlow、PyTorch 等海外框架并非没有提升的空间,因而飞桨等国产框架仍然有很大的机缘。

业内的一位算法工程师默示,TensorFlow 对稀疏模型的办理才华,大范围分布式计较才华,以及正在 Embedding 内存操做率上,依然有提升空间,而且 TensorFlow 2.0 API 凌乱的问题也亟待处置惩罚惩罚;而 PyTorch 也是类似,次要关注处置惩罚惩罚密集模型,对稀疏模型的关注度欠缺。

另外,飞桨免费开放了不少预训练模型,可以间接正在财产界落地,因而应付小型企业来说更有利,老原更低,同时也能得到不错的成效。由于 AI 正正在从云端走向边缘端,而飞桨对多芯片平台的适配和撑持,也带了很大的陈列劣势。

取此同时,百度也正在加大构建飞桨社区的扶持,因而中国开发者也可以与得更实时、更赋性化的撑持。

今年 3 月美国国家人工智能安宁卫员会(the National Security Commission on Artificial Intelligence,NSCAI)发布的一份报告,提出了应付总统拜登、国会及企业和机构的数十项倡议,以期压制中国 AI 的展开。那也注明了构建中国自主可控焦点技术栈的重要性和必要性。

新加坡工程院院士、IEEE Fellow 颜水成正在CSDN《2020-2021 中国开发者盘问拜访报告》中点评道“以飞桨为代表的国产框架曾经正在快捷鼓起,其市场占有率曾经不成忽室。”

2021 年,基于飞桨的企业级的开发工具库数质越来越多,内容越来越富厚,参预飞桨生态社区的用户越来越多。有着先发劣势的百度,此刻正在 AI 根原设备那一规模曾经走得更远,也将走得更稳。