大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸

sxkk20082年前智能百科245
据广大网友们的反馈,似乎人们普遍认为GPT-4变得有些愚笨了。距离OpenAI最初发布GPT-4已经过去了将近四个月。然而,随着时间的推移,最近网络上开始出现了一些质疑声,认为世界上最强大的GPT-4似乎变得不那么强大了。

据广大网友们的反馈,似乎人们普遍认为GPT-4变得有些愚笨了。距离OpenAI最初发布GPT-4已经过去了将近四个月。然而,随着时间的推移,最近网络上开始出现了一些质疑声,认为世界上最强大的GPT-4似乎变得不那么强大了。

一些业内人士认为,这可能与OpenAI对该系统进行重大重新设计有关。实际上,在最近几周,我们或多或少地在网络上看到了一些GPT-4用户对其性能下降的怨声。有用户称这个模型相比先前的推理能力和其他输出变得"懒散"和"愚笨"。

而且,不仅如此,在Twitter和OpenAI的在线开发者论坛中,用户们也表达了对这一问题的不满。例如,他们认为GPT-4的逻辑能力减弱了,回答错误增多了,对提供的信息追踪能力丧失了…

对于GPT-4究竟发生了什么,让我们来看看网友们的反馈:

一位使用GPT-4进行网站开发的网友写道:"现在的GPT-4真是让人失望。感觉就像你开了一个月的法拉利,突然它变成了一辆破旧的皮卡车。按照这种趋势,我不确定我是否愿意为此付费了。"

还有用户表示:"我使用ChatGPT有一段时间了,自从GPT-4发布以来,我一直是GPT Plus的付费用户。最近几天,GPT-4似乎在之前擅长的事情上遇到了困难。以前,它似乎能很好地理解我的请求。现在,它对信息的追踪能力下降了,给出的信息有误,并且经常误解我的问题。"


大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸


Roblox的产品负责人Peter Yang在Twitter上声称,GPT-4的输出速度变快了,但质量却降低了。例如,在让它输出更清晰、简洁和有创意的文本任务时,GPT-4给出的结果质量下降了。

"GPT-4开始反复输出代码和其他信息,就像它大脑死亡一样。如果你没有真正经历过它之前的能力,你可能不会注意到。但对于那些之前充分使用过GPT-4的人来说,他们明显感觉到它变得更愚蠢了。"另一位用户抱怨道。


大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸


"我对GPT-4的回答质量也有同样的问题,有人知道如何解决或纠正这种情况吗?"

"我确实注意到了这一点。在一天中的某些时候,它似乎只记得最近的提示。但在一整天的使用中,GPT-4的性能似乎有波动,在不同的时间尝试时,感觉它的表现也不一样。"


大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸

通过网友的反馈,可以看出大家都有感受到GPT-4变得愚笨的事实。

自OpenAI在去年年底发布ChatGPT,这一举动震惊了整个人工智能界。最初,ChatGPT是建立在GPT-3和GPT-3.5基础之上的。而在三月中旬,GPT-4发布后,迅速成为开发者和其他科技行业人士的首选模型。

GPT-4被认为是广泛可用的最强大的人工智能模型,具备多模态功能,可以理解图像和文本的输入。根据创业公司Lamini首席执行官Sharon Zhou的说法,它虽然速度较慢,但非常精准。

然而,几周前,情况开始发生变化。尽管GPT-4的速度变快了,但性能却明显下降了。这引发了整个人工智能社区的讨论。根据Sharon Zhou和其他专家的说法,这意味着着发生了重大的变革。

他们认为,OpenAI正在创建一些较小的GPT-4模型,这些模型在功能上类似于大型模型,但运行成本更低。

几天前,SemiAnalysis发布的一篇付费订阅内容也涉及到这一点。文章中提到,OpenAI通过使用混合专家(MoE)模型来维持可行的成本。他们在模型中使用了16个专家模型,每个专家模型大约有111B个参数。这些专家模型中的两个被路由到每个前向传递。

"这些较小的专家模型针对不同的任务和领域进行了训练。可能有一个专门用于生物学的小型GPT-4,以及其他用于物理学、化学等领域的小型模型。当一个GPT-4用户提问时,新系统就会知道向哪个专家模型发送该查询。新系统可能会决定将查询发送给两个或多个专家模型,然后将结果合并起来。"Sharon Zhou解释道。

开发者兼黑客George Hotz在最近的一个播客中描述了GPT-4是运行8个混合模型。需要提到的是,艾伦人工智能研究所创始CEO Oren Etzioni在看到这些信息后,通过邮件向Business Insider表示:“我『推测』这些猜测大致准确,但我没有证据。”


大家都在吐槽GPT-4变「笨」了,可能是架构重新设计惹的祸


Oren Etzioni认为,采用混合模型的目的在于提升生成式模型的输出质量、降低成本并提高响应速度。


eEtzioni进一步补充道:"恰当地使用混合模型可以同时满足上述需求,但通常需要在成本与质量之间做出权衡。有传言称OpenAI正在为了降低成本而牺牲一部分质量,但这只是无根据的传闻。"


据实际情况,2022年,OpenAI的总裁Greg Brockman与几位同事合作撰写了一篇有关MoE方法的文章。该文中提到:"采用MoE方法,在不增加计算成本的前提下,模型可以支持更多参数。"


Sharon Zhou表示:"与训练和OpenAI推出的小型专家GPT-4模型有关,GPT-4近几周的性能下降是很可能的。当用户对其进行测试时,我们会提出各种不同的问题。尽管它的回答可能不理想,但它会从我们那里收集数据,并不断改进和学习。"


相关文章

帮消费者安居,助服务者乐业,杭州链家S计划重磅发布

帮消费者安居,助服务者乐业,杭州链家S计划重磅发布

随着新居住时代来临,房产行业服务者的长期职业发展与福利保障备受行业关注,也逐渐成为影响职业选择的核心因素。作为新居住的探路者,链家在提升行业人才保障方面一直在不懈努力。10月28日,杭州链...

百度文心大模型进化神速:推理速度提升30倍

百度文心大模型进化神速:推理速度提升30倍

2023年7月6日,2023世界人工智能大会(WAIC)在上海世博中心开幕,百度CTO王海峰从容地阐释了文心大模型3.5版的核心技术,并宣布了飞桨生态的最新进展。王海峰在现场透露,迄今为止,飞桨已经吸...

杭州链家“漏水信息披露”服务正式上线,破解房屋漏水四大难题!

杭州链家“漏水信息披露”服务正式上线,破解房屋漏水四大难题!

 有人说,这世上没有完美的房子,尤其是二手房。而在二手房中,漏水又是最令人头疼的问题。一到雨季,担惊受怕不说,还要防患于未然,让人焦头烂额。但多数人只能哑巴吃黄莲,自己掏钱解决。...

贝壳杭州站升级一站式服务:二手房交易迈入“便捷安心”新时代

贝壳杭州站升级一站式服务:二手房交易迈入“便捷安心”新时代

 二手房交易是关乎买卖双方两个家庭的大事,但也是面临诸多费心的“麻烦事”。理想中的交易场景应是高效且无忧的——资金与房产即时交割,...

OpenAI 向所有付费 API 用户开放 GPT-4

OpenAI 向所有付费 API 用户开放 GPT-4

今年3月,OpenAI推出了GPT-4,并且只向部分开发者开放测试机会。然而,7月7日,OpenAI宣布全面开放GPT-4 API,现在所有付费API用户都可以直接使用具备8K上下文处理能力的GPT-...

全国生态日:“碳”索未来、“数”说绿色,海信开启绿色发展新篇章

全国生态日:“碳”索未来、“数”说绿色,海信开启绿色发展新篇章

 生态兴则文明兴,绿色发展是高质量发展的底色。8月15日是第2个全国生态日,海信集团于近日正式发布《2023环境、社会及治理报告》,展现绿色升级和关键技术突破,坚定不移走绿色高质...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。