NVIDIA的NVIDIA NeMo框架、GPU成为亚马逊Amazon Titan Foundation训练大型语言模型的幕后功臣

虽然许多云端服务公司皆积极打造为旗下服务与技术优化的自研芯片,然而从提供服务与进行人工智能训练的领域,仍为自硬件、软件至服务等完善布局的NVIDIA的天下; Amazon Web Service(AWS)的科学家与开发者为开发生成式AI服务Amazon Bedock的基础模型Amzon Titan,即携手NVIDIA,并以NVIDIA的GPU结合AWS的EFA(Elastic Fabric Adaptor)高速互联架构作为基础硬件设施,搭配NVIDIA NeMo框架进行开发。

NVIDIA的NVIDIA NeMo框架、GPU成为亚马逊Amazon Titan Foundation训练大型语言模型的幕后功臣

▲NVIDIA NeMo不仅作为建构、客制化与执行大型语言模型框架,又能透过平行技术串接海量GPU进行大规模且高效能的训练

NVIDIA NeMo是作为构建、定制与执行大型语言模型的框架,其中又以能够发挥并行技术进行大规模且高性能的大型语言模型训练作为关键,AWS借助EFA提供Ultra Cluster网络基础设施,使客户能取用超过1万个以上的GPU,同时通过GPUDirect绕过操作系统与CPU,使大量GPU如同单一大型GPU。

借助NVIDIA NeMo,AWS可针对新Titan基础模型、数据集、基础设施等特定情况定制训练软件; 同时AWS的创新技术包括从Amazon Simple Storage Service(Amazon S3)到GPU丛集的高效能串流。 借助NeMo 建立在PyTorch Lightning等标准化的大型语言模型训练渠道组件,借助这些广泛使用的库的基础,使整合这些创新技术变得容易。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论