泼冷水？ OpenAI CEO山姆·阿特曼称AI大模型时代已经结束，AI突破需另辟蹊径

OpenAI 的聊天机器人 ChatGPT 的惊人能力点燃了人们对人工智能新的兴致与投资。但上周末，OpenAI首席执行长却发出警告，称孕育出这款机器人的研究策略已经走到头了。但未来会从哪个方向取得突破还不清楚。

透过利用现有的机器学习算法，并将其扩展到以前无法想象的规模，近年来 OpenAI 的人工智能在语言上取得了一系列令人印象深刻的进展。 GPT-4 是这些项目当中最新的一个，为了训练出这个模型，OpenAI 也许使用了数兆个文本单词以及数千个强大的电脑芯片。整个训练过程耗资超过了1亿美元。

但该公司首席执行长山姆·阿特曼（Sam Altman）表示，下一步的进展不会来自让模型的规模变得更大。上周末他在麻省理工学院举行的一次活动中告诉现场观众：我认为我们已经走到了一个时代的尽头，这些超级庞大的模型已经发展到头。我们会用其他方式让它们变得更好。」

阿特曼的宣告表明，在开发与部署新的 AI 算法的竞赛中出现了意想不到的转折。自OpenAI去年11月推出ChatGPT以来，微软已利用底层技术在其Bing搜索引擎中植入了一个聊天机器人，谷歌也推出了一个叫做Bard的聊天机器人参与竞争。很多人都争先恐后地尝试用新型聊天机器人来帮助完成工作或个人任务。

与此同时，在投资的加持下，包括Anthropic、AI21、Cohere与 Character.AI 在内的众多初创企业正在投入大量资源来开发规模甚至更大的算法，好努力赶上OpenAI的技术。 ChatGPT 的初始版本以略微升级的 GPT-3 版本为基础，但用户现在还可以造访由功能更强大的 GPT-4 提供支持的版本。

阿特曼的说法也许暗示GPT-4将是OpenAI靠规模取胜策略（更大模型、更多数据）的最后一个重大进展。但他没有指出应该用什么样的研究策略或技术来取代规模取胜。在描述GPT-4的论文里，OpenAI确实也指出了自己估计扩大模型规模会出现收益递减。阿特曼表示，企业能建造的数据中心的数量以及建造速度也存在物理限制。

曾在谷歌从事 AI 工作，现为 Cohere 联合创始人的 Nick Frosst 表示，阿特曼认为「做大没法一直奏效」的看法听起来是对的。他也认为，Transformer（GPT-4 及其竞争对手的核心机器学习模型类型）的改进不只有扩展这一条路。他说：「有很多方法可以让 transformer 变得更好、更有用，而且很多方法都不需要为模型增加参数」。 Frosst 说，新的 AI 模型设计或架构，以及基于人类反馈的进一步优化，这些都是许多研究人员在积极探索的有前途的方向之一。

OpenAI 的语言算法系列影响巨大，每一版都由一个人工神经网络（这种网络的发明受到了神经元协同机制的启发）组成，经过训练后，这种神经网络就可以预测给定文本字符串后面应该出现什么样的文字。

GPT-2 是这系列语言模型的第一个，发布时间是 2019 年。它的最大形式有 15 亿个参数（衡量其原始人工神经元之间可调节连接的数量）。

在当时，跟以前的系统相比，这个数量已经非常庞大，这在一定程度上要归功于 OpenAI 研究人员的发现——扩大规模可以让模型更具一致性。 2020年，该公司又推出了GPT-2的后续版本GPT-3，后者的规模更大，参数数量高达1750亿。这套系统可以生成诗歌、电子邮件以及其他文本，其能力的广泛性有助于说服其他公司和研究机构将他们自己的人工智能模型推向类似甚至更大的规模。

去年11月ChatGPT首次亮相后，迷因制造者以及技术专家纷纷开始推测，一旦GPT-4出现将会成为令人眩晕的规模与复杂性的典范。然而，当OpenAI最终发表其最新人工智能模型时，该公司并没有透露它的规模有多大——也许是因为规模不再是最重要的。在麻省理工学院的那场活动上，阿特曼被问及训练 GPT-4 的花费是否要 1 亿美元; 他的回答是：「不止。」

尽管 OpenAI 对 GPT-4 的规模与内部机制保密，但它的部分智能很可能已经来自于规模以外的观察。一种可能性是它用了所谓的强化学习方法，引入人工反馈，用来增强 ChatGPT。这种方法涉及到让人类判断模型答案的质量，从而引导 AI 提供更有可能被判断为高质量的回应回答。

GPT-4 的非凡能力让部分专家感到震惊，并引发了关于人工智能在改变经济的同时传播假信息、导致裁员的争论。还有一些AI专家，以及包括马斯克在内的科技企业家与科学家最近写了一封公开信，呼吁要暂停任何比GPT-4更强大的AI研发活动6个月。

上周在麻省理工学院，阿特曼证实了他的公司目前还没有开发 GPT-5。他说：「这封信之前的版本称 OpenAI 目前正在训练 GPT-5。我们没有，而且在一段时间内也不会做这件事。」