Nvidia H200 最强 AI 芯片登场 运算推理速度快上代 1 倍

Nvidia宣布推出最新AI芯片NVIDIA HGX H200,旨在训练和部署各种人工智能模型,并期望能帮助公司主导AI运算市场的芯片新增更多功能。

Nvidia H200 最强 AI 芯片登场 运算推理速度快上代 1 倍

在 Llama 2 模型的推理速度上, NVIDIA HGX H200 的速度与 H100 相比几乎增加一倍。 新芯片是首款搭载先进内存HBM3e的GPU,使GPU的内存带宽从每秒3.35TB提高至4.8TB,内存总容量从80GB提高至141GB,与其前代相比容量增加1.8倍,带宽增加1.4倍。

此外,NVIDIA HGX H200 采用 Hopper 架构,并配备 H200 Tensor Core GPU 和高端存储器,以处理 AI 和高效能运算产生的大量数据。

英伟达表示,推出新产品的目的是为跟上用于创造 AI 模型和服务的数据集的规模,而增强记忆量的H200在处理数据的速度会快很多。

据了解,多间云端服务公司,例如Amazon旗下的AWS、Alphabet 的谷歌 Cloud 和 Oracle 的 Cloud Infrastructure 都表示,预计明年第 2 季开始,将使用这款新芯片,是首批采用 H200 的云服务商。

NVIDIA 目前并未公布 H200 的价格价格,但发言人 Kristin Uchiyama 指出,最终定价将由 NVIDIA 制造伙伴制定。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论