Meta 开发出文本生成图像模型 CM3Leon,号称业界最佳

sxkk20082年前智能百科185
近来,Meta开发出一款名为 CM3Leon 的一个多模态基础模型,可用于文本到图像和图像到文本的创作,特别擅长自动生成图像标题。

近来,Meta开发出一款名为 CM3Leon 的一个多模态基础模型,可用于文本到图像和图像到文本的创作,特别擅长自动生成图像标题。

人工智能生成图像的技术已经不再新鲜,许多广泛使用的工具如Stable Diffusion、DALL-E和Midjourney取得了很大的成功。

然而,Meta正在利用构建CM3leon的技术,以及该基础模型能够实现的性能,为这一领域带来新的突破。


Meta 开发出文本生成图像模型 CM3Leon,号称业界最佳

目前,文本到图像生成技术主要依赖于扩散模型(Stable Diffusion得名于此)来创作图像,而CM3leon采用了一种不同的方法,基于token的自回归模型。

在Meta的研究论文《Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning》中,研究人员写道:


“近年来,由于计算成本相对较低,扩散模型在图像生成领域占据主导地位。然而,基于token的自回归模型以其出色的全局图像连贯性而闻名,尽管训练和推理的成本更高。”

但现在,Meta的研究人员已经证明了CM3leon这种基于token的自回归模型实际上比扩散模型更高效。Meta的研究人员在一篇博客文章中表示:“尽管使用的计算资源减少了五倍,CM3leon在文本到图像生成方面实现了最先进的性能。”

CM3leon的基本工作原理在某种程度上类似于现有的文本生成模型。Meta的研究人员首先进行了一个强化的预训练阶段。与仅依赖公开可用的互联网图像的扩散模型不同,Meta选择了一条不同的道路。


Meta 开发出文本生成图像模型 CM3Leon,号称业界最佳


Meta的研究论文指出:“在文本到图像生成领域,以图像数据源为基础的道德影响引发了广泛的讨论。在我们的研究中,我们仅使用经过授权的Shutterstock图像,从而避免了与图像所有权和归属有关的担忧,同时并不牺牲性能。”

在预训练之后,CM3leon模型经历了一个有监督微调阶段(SFT)。Meta的研究人员声称这种方法产生了高度优化的结果,无论是资源利用还是图像质量。该方法是OpenAI用于培训ChatGPT的一种方法。Meta在研究论文中指出,SFT对于训练模型理解复杂提示在生成任务中非常有用。

论文中指出:


“我们发现,指导调整显著提高了多模态模型在图像标题生成、视觉问答、基于文本的编辑和条件图像生成等各种任务中的性能。”

通过查看Meta在关于CM3leon的博客文章中分享的生成图像样本集,可以清楚地看到模型对复杂多阶段提示的理解,并生成具有极高分辨率的图像,给人留下深刻的印象。

目前,CM3leon仍然是一个研究项目,尚不清楚Meta是否会在其平台的某个服务中公开提供这项技术。鉴于其强大的性能和更高的生成效率,CM3leon及其生成式人工智能方法有望超越研究阶段并得到实际应用。


相关文章

元响智能科技携手电信运营商共绘智能家居未来蓝图

元响智能科技携手电信运营商共绘智能家居未来蓝图

在数字化浪潮的推动下,智能家居行业迎来了前所未有的发展机遇。作为智能音响领域的佼佼者,元响智能科技在2024中国移动全球合作伙伴大会上的亮相,不仅展示了其在家庭宽带和智慧家居领域的创新实力...

再获殊荣!海信洗碗机荣获“2023年度厨卫行业创新产品奖”

再获殊荣!海信洗碗机荣获“2023年度厨卫行业创新产品奖”

2023年12月20日,第五届厨卫产业创新发展峰会在南京召开。会议由奥维云网联合厨卫产业上下游企业共同召开,主题为“穿越周期,共谋增长”,旨在从行业端、用户端、运营端全方位解析行业...

魔法来了!ChatGPT上线GPT-4以来最强应用“代码解释器”

魔法来了!ChatGPT上线GPT-4以来最强应用“代码解释器”

最近,OpenAI的语言模型ChatGPT推出了一项全新功能:代码解释器(Code Interpreter)。这一创新功能已对所有高级订阅用户开放。代码解释器为ChatGPT带来了更为出色的交互式编程...

微软推出人工智能模型 CoDi,可互动和生成多模态内容

微软推出人工智能模型 CoDi,可互动和生成多模态内容

微软Azure认知服务研究中心和北卡罗来纳大学NLP团队近日推出前沿生成模型CoDi,这是人工智能领域的一大进步,能够无缝地生成高质量的内容,跨越多个领域。微软Azure认知服务研究中心和北卡罗来纳大...

Ghostwrite插件,AI聊天驱动的 AI 电子邮件写作助手

Ghostwrite插件,AI聊天驱动的 AI 电子邮件写作助手

Ghostwrite 插件是一款由 AI 聊天驱动的 AI 电子邮件写作助手,该插件支持使用人工智能来自动化写作过程,只需几句话即可立即回复、撰写和撰写电子邮件,让用户可以将更多时间花在重要的事情上。...

AI聊天 auto speech插件,AI聊天响应文本自动语音转换

AI聊天 auto speech插件,AI聊天响应文本自动语音转换

AI 聊天 auto speech 插件是一款简单实用的文本转语音工具,适用于 Chrome 浏览器,支持将浏览器任意网页中的 AI 聊天 响应文本转换为语音并自动播放,轻松为 AI 聊天提供更人性化...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。