马斯克预告用了10万张NVIDIA H100卡来训练Grok 3，预计年底上线

码农 • 2024年7月3日 17:14 • 投稿

科技巨擘埃隆·马斯克（Elon Musk）近日在社群媒体X上引发热议，他透露即将推出的AI聊天机器人Grok 3将会「非常特别」。马斯克表示，这款新一代AI经过了10万张H100芯片的训练，规模之大令人惊叹。

H100是NVIDIA开发的图形处理单元，又称Hopper，专门用于处理大型语言模型（LLMs）的数据。随着AI技术的快速发展，这类芯片已成为科技公司争相抢购的战略资源。

Grok 3的天价训练成本：高达40亿美元

每块NVIDIA H100 AI芯片的市场价格约在3万至4万美元之间。粗略估算，单单训练Grok 3就使用了价值30亿至40亿美元的AI芯片。这一惊人数字引发了外界对马斯克公司资金实力的关注。

目前尚不清楚这些芯片是否由马斯克的公司直接购买。有报道称，马斯克旗下的xAI公司正在与甲骨文洽谈，计划在未来几年内投资100亿美元租用云端服务器。近年来，马斯克的公司已直接采购了大量H100芯片。据悉，马斯克曾将原本供特斯拉使用的价值5亿美元的H100芯片转给了X公司。

Grok系列演进：从2万到10万张H100的增幅

相较于前代产品，Grok 3在训练规模上实现了巨大飞跃。今年4月，马斯克在接受挪威主权基金负责人尼科莱·坦根（Nicolai Tangen）采访时透露，训练Grok 2需要约2万张H100芯片。而Grok 3的训练规模则达到了惊人的10万张，增幅高达5倍。

目前，xAI已发布了Grok-1和Grok-1.5版本，最新版本仅对社交平台上的早期测试者和现有用户开放。马斯克在最新的社交媒体贴文中透露，Grok 2计划于今年8月推出，而Grok 3有望在年底亮相。

10万张H100芯片的规模虽然惊人，但在当前的AI竞赛中并非孤例。其他科技巨头如Meta也在大量采购GPU芯片。 Meta执行长马克·扎克伯格（Mark Zuckerberg）今年1月曾表示，到2024年底，Meta将购买约35万块NVIDIA H100芯片，加上其他类型的GPU，Meta的AI芯片总量将达到约60万块。

如果按照这一规模，Meta在建构自家AI能力上的投资将高达180亿美元左右。这一数字充分说明了科技巨头对AI技术的重视程度和投入力度。

AI芯片争夺战引发人才争夺战

大规模AI芯片的积累不仅推高了硬件成本，还导致了过去一年中顶尖AI人才的招聘竞争变得异常激烈。 AI新创公司Perplexity的创办人兼执行长阿拉文德·斯里尼瓦斯（Aravind Srinivas）分享了他试图从Meta挖角一位资深研究员的经历。然而，该研究员因扎克伯格拥有大量AI芯片而婉拒了邀请。

斯里尼瓦斯表示：「我试图聘请一位非常资深的Meta研究员，他们的回答是：’等你有了1万块H100 GPU再来找我。’ 」这一轶事生动地反映了AI芯片资源在人才争夺战中的关键作用。

随着马斯克、扎克伯格等科技巨头纷纷加大AI投资力度，全球AI技术竞赛正进入白热化阶段。从Grok 3的巨额投入可以看出，未来AI产品的研发成本可能会进一步攀升。这不仅考验着各大公司的资金实力，也将推动AI技术向更高水平迈进。

在这场AI军备竞赛中，谁能在技术创新和商业应用之间找到平衡，谁就有可能在未来的AI时代中占据优势地位。我们拭目以待，Grok 3能否如马斯克所言，成为一款「非常特别」的AI产品，为这场竞赛带来新的变数。