DeepMind 的 AI 神成绩再添一笔，语言模型 Gopher 阅读理解力直逼高中生

technews • 2023年9月20日 13:03 • 投稿

谷歌旗下的人工智能公司 DeepMind 发布了下一代最新的语言模型 Gopher，声称它拥有接近高中生的阅读理解能力 。研究人员在开发和研究更强大的语言模型时，也就是在致力预测和生成文本的系统，这对于建立先进的人工智能会有巨大的开发潜力。

语言模型旨在接收词汇后，可以预估接下来词汇所出现的分布机率，但若要让它聪明且顺利的运作，需要的是极为大量的数据资料，才会产出让我们能了解的语法结构。

语言模型相关技术的极限

当前的语言模型其实都还存在着一些逻辑推理能力较弱的问题，那我们是否可以通过添加更多的数据来改进？或者我们已经达到了语言模型相关技术的极限？

在DeepMind的研究当中，里头训练了大大小小的Transformer语言模型，涵盖了从4，400万个参数到2，800亿个参数的模型，而最大的模型被命名为Gopher。

这个名为 Gopher 的语言模型能够通过大量文本数据库而大幅提高阅读理解能力，且Gopher 能够在高中生的阅读考试当中获得高分，甚至接近于一般人类水平的表现，不过它的数学和推理能力都还有待提升。

DeepMind 表示，Gopher 是一个「超大型的语言模型」，在一次的测试研究中，Gopher 能够与人类进行完整的对话，连贯以及通顺性都让研究人员感到非常惊讶。

人工智能如何发展出像人类一样具备逻辑、意识和推理的认知能力，是该研究一直在探索的方向，以目前来看，通过大规模数据去训练巨量人工智能模型，在目前被认为是主流实现通用人工智能的一个重要方向。

而研究人员也能通过调查这些不同大小语言模型的优势和缺点，找出能够借由增加规模，继续提高效能的领域。