阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

访客1年前AI生活147
阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。

TePDist不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,以解决深度学习模型并行策略的自动搜索与分布式策略实施问题。在架构方面,TePDist采用Client/Server模式,实现分布式策略与模型描述的解耦。Server端是TePDist最重要部分,以HLO IR作为输入,自动探索并实施分布式并行策略;Client端以用户描述的模型为输入,将其转换成HLO IR。因此,任何具有转换HLO IR能力的Client,都可经过适配后接入Server端。

999.jpg

在功能方面,TePDist分为两个部分。一是在HLO IR上进行SPMD(Data Parallel和Sharding)和Pipeline并行的策略搜索。并以此构建编译基于Task Graph的执行计划。二是高效运行执行计划的分布式执行引擎。同时,TePDist提供了不同优化级别,高优化级别更加追求分布式策略质量,低优化级别会额外采取一些Heuristic,以较为微小策略质量牺牲,换取更快地搜索时间,以此满足落地需求。

性能上,TePDist通过在GPT和MoE模型上SPMD+Pipeline混合策略的模型扩展性实验,TePDist能够使GPT和MoE分别达到峰值能力的62%和58%。同时,在自动化方面的通用性上,TePDist也通过了VGG-19,DNABert和UNet等模型实验验证。

一直以来,大模型在模型效果上被证明具有显著优势。而ChatGPT的出现,证明了其在工业生产工具方面具有巨大潜力。阿里云机器学习平台PAI也宣布将TePDist开源,与AI开发者共同打造更快更好的自动分布式系统,全面助力AI大模型发展!

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

美团自动车配送部算法负责人刘博聪,已离职入局智能硬件创业

美团自动车配送部算法负责人刘博聪,已离职入局智能硬件创业

小编消息,美团自动车配送部算法负责人刘博聪,已经离职创业。 2010年,刘博聪硕士毕业于卡内基梅隆大学的电子与计算机工程(ECE)专业。毕业...

百度王海峰团队荣获吴文俊人工智能科技进步奖特等奖,成果已应用于文心一言

5月6日,以“场景驱动•数智强国”为主题的第十二届吴文俊人工智能科学技术奖颁奖典礼暨2022中国人工智能产业年会在北京和苏州两地同期召开。百度...

AI已成为医疗行业的服务所需!

AI已成为医疗行业的服务所需!

在构成高质量医疗保健服务所需的众多因素中,全面的患者数据几乎位居榜首。没有人比医疗AI技术公司Droice Labs创始人兼首席执行...

「新基石研究员项目」资助启动:10年100亿,让有探索精神的科学家不用再忙于「找钱」

如果说技术应用是造房子,那么首要工作就是打地基。地基不稳,房子不能牢固。此外,地基有多少座,房子就有多少座。 因此,科学研究的目标往往有两个:...

三千哲库人,不信公司是没钱突然解散

三千哲库人,不信公司是没钱突然解散

凌晨一点多,万辉还没有睡意。 半躺刷着朋友圈的万辉还没能从上午公司突然宣布解散的消息中缓过神来,看着数量暴增的朋友圈动态,在黑暗中陷入了更深...

2020年全球云计算IaaS市场TOP5,云服务商阿里云排名第三!

2020年全球云计算IaaS市场TOP5,云服务商阿里云排名第三!

近日,行业内最权威的两家机构Gartner和IDC先后发布2020年全球云计算IaaS市场份额数据,排名前三的是亚马逊、微软和阿里云。...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。