投稿
  1. 谷达鸭首页
  2. 游戏攻略

NVIDIA Research打造AI模型，在虚拟世界中增添3D对象和人物角色

育碧 • • 游戏攻略
NVIDIA Research打造AI模型，在虚拟世界中增添3D对象和人物角色

在英伟达 Research 开发出全新人工智能（AI）模型后，越来越多公司及创作者可以将各种3D建筑物、车辆和人物角色置入他们打造的庞大虚拟世界中。

NVIDIA GET3D 单纯使用 2D 影像进行训练，便能产生出极为逼真的纹理和具复杂几何细节的 3D 形状。 用户使用与热门绘图软件应用程序一样的格式来建立这些 3D 对象，可以立即把这些形状导入 3D 渲染器和游戏引擎中，进行后续编辑工作。

产生出的对象可用来呈现出3D形状的建筑物、户外空间或整个城市，供游戏、机器人、建筑和社群媒体等业界使用。 GET3D 可以按照用来训练它的资料产生出不限数量的 3D 形状。 就像艺术家精致细腻的雕塑黏土一样，GET3D 模型将数字转变成复杂的 3D 形状。

像是使用 2D 汽车图片的数据集来训练 GET3D 模型，它会建立出 3D 形状的轿车、卡车、赛车及小货卡等车辆。 使用 2D 动物图片来进行训练时，它就会产生诸如 3D 形状的狐狸、犀牛、马和熊等动物。 而使用 2D 椅子图片进行训练时，它则会产生各种 3D 形状的转椅、餐椅和舒适的躺椅。

NVIDIA AI 研究部门副总裁 Sanja Fidler 表示：「GET3D 模型让我们更离大众化使用 AI 来创作 3D 内容更近了一步。 它能够实时产出带有纹理的 3D 形状，这对开发人员来说或许会颠覆过去的游戏规则，协助他们快速在虚拟世界中加入各种有趣的对象。」 Sanja Fidler 同时也是英伟达位于多伦多的 AI 研究实验室的主管，这项工具就是由该实验室所开发。

11月26日至12月4日在纽奥良与线上举行的神经信息处理系统大会（NeurIPS）上，NVIDIA将发表超过20篇论文并举行多场研讨会，GET3D便是其中之一。

虚拟世界需要搭配AI来创造

现实世界具丰富样貌，街道两旁是独一无二的建筑，各种车辆呼啸而过，形形色色的人群穿梭其中。 用人工方式模拟出一个能反映这些特色的 3D 虚拟世界须花费不少时间，而难以在此数字环境中添加各种细节。

AI 模型在建立3D虚拟世界时虽然比过去用人工的方法更快，但仍不够精细。 就算最新的逆向渲染法也只能根据从不同角度拍摄的 2D 影像来产生出 3D 对象，开发人员一次只能建立一个 3D 形状。

GET3D 就不同了，在一个 NVIDIA GPU 上进行推论时，一秒钟大概能产生 20 个形状，其运作方式就像是用于产生 2D 影像的生成对抗网络，同时产生 3D 对象。 使用规模愈大、内容越多样化的数据集来训练它，便能输出更多元精细的内容。

NVIDIA 的研究人员使用从摄影机不同角度拍摄 3D 形状的 2D 图片合成数据来训练 GET3D 模型，他们在 NVIDIA A100 Tensor 核心 GPU 上处理 100 万张图片，仅用了两天时间就完成训练工作。

使创作者能够修改形状、纹理和材质

GET3D 的名称源自于其能生成清晰纹理 3D（Generate Explicit Textured 3D）网格，意味着用三角网格来建立各种形状，就像是混凝纸浆模型上面覆盖着纹理材料。 这让用户可以轻松把对象导入游戏引擎、3D 建模器和电影渲染器中并进行编辑。

创作者把GET3D产出的形状导出至绘图应用程式，便能在物体于场景中移动或转动时加上逼真的照明效果。 开发人员将GET3D搭配英伟A Research的另一项AI工具 StyleGAN-NADA，就可以用文字描述替图像加上特定风格，例如将渲染出的汽车变成烧毁的汽车或计程车，或是把正常的房子变成鬼屋。

研究人员指出日后的GET3D版本可使用摄影机姿势预估技术，让开发人员能使用真实环境的数据（而非合成数据）来训练模型。 研究人员还将改进GET3D模型以支持通用生成技术，开发人员便能一次使用各种3D形状来训练GET3D，而非一次用一种对象类别来进行训练。

赞 (0)
打赏 微信扫一扫 微信扫一扫
育碧育碧认证作者
0 0

相关推荐

发表评论

登录后才能评论