近期,在网络上出现了一些质疑声,许多用户抱怨OpenAI的ChatGPT-4性能下降,称这个模型在推理能力和其他输出方面变得“更懒惰”和“更愚笨”。业内人士认为,这可能与OpenAI对该系统进行了重大重新设计有关,他们推测OpenAI采用了混合专家(MoE)模型来提高生成式模型的输出质量、降低成本并加快响应速度。

一位使用GPT-4进行网站开发的网友表示:目前的GPT-4让人感到非常失望。就好像你开了一个月的法拉利,突然它变成了一辆破旧的皮卡车。这样下去,我不确定是否愿意为此付费。
还有用户抱怨说:GPT-4开始循环输出代码和其他信息,与之前相比,它就像脑死亡了一样。如果你没有真正体验过它之前的能力,可能不会注意到这个问题,但如果你之前充分使用过GPT-4,你会明显感觉到它变得更加愚蠢。

「我对 GPT-4 的反应质量也有同样的问题,有谁知道一种方法来排除或纠正这种情况?」
「我确实注意到了这一点。在一天中的某些时候,它似乎只记得最近的提示。但在一整天的使用中,GPT-4 性能似乎有波动,不同时间进行尝试,感觉性能不一样。」
通过网友的反馈,看来大家都感受到了 GPT-4 变笨的事实。
从前是又慢又贵,现在是快但不准确
去年年底,OpenAI 发布 ChatGPT 震惊整个 AI 界,最初 ChatGPT 运行在 GPT-3 和 GPT-3.5 之上。3 月中旬,GPT-4 发布,并迅速成为开发者和其他科技行业人士的首选模型。
GPT-4 被认为是广泛可用的最强大的 AI 模型,具备多模态功能,可以理解图像和文本输入。根据 Lamini 创业公司首席执行官 Sharon Zhou 的说法,它虽然慢但非常准确。
然而,几周前,情况开始发生转变,虽然 GPT-4 变得更快,但性能明显下降了,这引发了整个 AI 社区的讨论,根据 Sharon Zhou 和其他专家的说法,这意味着一个重大的变化正在进行中。
他们认为 OpenAI 正在创建几个较小的 GPT-4 模型,这些模型的功能类似于大型模型,但运行成本更低。
几天前 SemiAnalysis 发布的一篇付费订阅内容也谈到这一点。文中提到了 OpenAI 能够通过使用混合专家(MoE)模型来保持合理成本。他们在模型中使用了 16 个专家模型,每个专家模型大约有 111B 个参数。这些专家模型中的 2 个被路由到每个前向传递。
「这些较小的专家模型分别针对不同的任务和领域进行了训练。可能会有一个针对生物学的迷你 GPT-4,以及其他可用于物理学、化学等的小模型。当一个 GPT-4 用户提出问题时,新系统会知道将该查询发送给哪个专家模型。新系统可能会决定将查询发送给两个或多个专家模型,然后将结果合并起来。」Sharon Zhou 表示。
开发人员兼黑客 George Hotz 在最近的播客中描述了 GPT-4 是 8 路混合模型。
值得一提的是,艾伦人工智能研究所创始 CEO Oren Etzioni 在网络上看到这些信息后,给 Business Insider 发了一封电子邮件写道:「我『推测』这些猜测大致准确,但我没有证据。」
Oren Etzioni 认为:使用 MoE 方法主要是为了让生成式模型输出质量更高、成本更低、响应更快。
eEtzioni 补充道:「正确使用混合模型的确可以同时满足上述需求,但通常需要在成本和质量之间进行权衡。在这种情况下,有传闻称 OpenAI 正在牺牲一些质量来降低成本,但这只是传闻。」
实际上,2022 年 OpenAI 总裁 Greg Brockman 曾与几位同事共同撰写了一篇关于 MoE 方法的文章。
根据网友的反馈可以总结出,目前的GPT-4在速度上较快但不够准确,而之前则存在速度慢、成本高的问题,但提供的信息是准确的。
ChatGPT、ChatGPT中国站</a >、国内ChatGPT</a >、人工智能、AI</a >、OpenAI、ChatGPT国内</a >、ChatGPT官网、ChatGPT中文版</a >、ChatGPT体验</a >、ChatGPT国内站点</a >、ChatGPT中文网</a >、ChatGPT国内</a >、中国版ChatGPT</a >、ChatGPT中国镜像、ChatGPT国内镜像</a >、AI全家桶、AI导航</a >、MJ绘画、AI绘画技术</a >、人工智能绘画、AI艺术创作</a >、智能绘图软件