阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

访客1年前AI生活145
阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。

TePDist不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,以解决深度学习模型并行策略的自动搜索与分布式策略实施问题。在架构方面,TePDist采用Client/Server模式,实现分布式策略与模型描述的解耦。Server端是TePDist最重要部分,以HLO IR作为输入,自动探索并实施分布式并行策略;Client端以用户描述的模型为输入,将其转换成HLO IR。因此,任何具有转换HLO IR能力的Client,都可经过适配后接入Server端。

999.jpg

在功能方面,TePDist分为两个部分。一是在HLO IR上进行SPMD(Data Parallel和Sharding)和Pipeline并行的策略搜索。并以此构建编译基于Task Graph的执行计划。二是高效运行执行计划的分布式执行引擎。同时,TePDist提供了不同优化级别,高优化级别更加追求分布式策略质量,低优化级别会额外采取一些Heuristic,以较为微小策略质量牺牲,换取更快地搜索时间,以此满足落地需求。

性能上,TePDist通过在GPT和MoE模型上SPMD+Pipeline混合策略的模型扩展性实验,TePDist能够使GPT和MoE分别达到峰值能力的62%和58%。同时,在自动化方面的通用性上,TePDist也通过了VGG-19,DNABert和UNet等模型实验验证。

一直以来,大模型在模型效果上被证明具有显著优势。而ChatGPT的出现,证明了其在工业生产工具方面具有巨大潜力。阿里云机器学习平台PAI也宣布将TePDist开源,与AI开发者共同打造更快更好的自动分布式系统,全面助力AI大模型发展!

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:362580117!

相关文章

北斗导航二十八年:封锁、突围、全面主导

北斗导航二十八年:封锁、突围、全面主导

网上一直有个段子,如果美国关闭GPS,世界会怎样? 1993年7月23日,波斯湾晴空万里。我国银河号货轮正在执行运输任务,其导航系统正是美国...

性价比提升15%,阿里云发布第八代企业级计算实例g8a和性能增强型实例g8ae

性价比提升15%,阿里云发布第八代企业级计算实例g8a和性能增强型实例g8ae

  5 月 17 日,2023 阿里云峰会·常州站上,阿里云正式发布第八代企业级计算实例 g8a 以及性能增强性实例 g8ae。两款实例搭载...

OpenAI 最强对话模型 ChatGPT: 用户已破百万,落地将有几何

OpenAI 最强对话模型 ChatGPT: 用户已破百万,落地将有几何

上周三,OpenAI 发布了对话语言模型 ChatGPT,并开放了免费试用。据 OpenAI 的 CEO Sam Altman 称,在短短...

蚂蚁链牵头两项区块链国际标准在ITU成功立项

蚂蚁链牵头两项区块链国际标准在ITU成功立项

近日,国际电信联盟第十六研究组(简称ITU-T SG16)召开全体会议。会上,由蚂蚁链牵头的两项区块链国际标准获得立项通过。包括: ITU-...

这次,Redmi 做了亏本的买卖

时隔3年,雷军再一次为Redmi 充当了发言人。 8月11日晚,在雷军年度演讲上,K50至尊版正式发布,配置上,K50至尊版保持着Redmi...

CCF 深圳十周年庆典活动顺利召开

CCF 深圳十周年庆典活动顺利召开

2022年10月29日,CCF深圳十周年庆典活动在深圳国际会展中心希尔顿酒店顺利召开。活动邀请了CCF会士陈国良院士、CCF前理事长郑纬民院士...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。