NVIDIA 以3D MoMa技术让创作者利用3D对象即兴创作

即兴创作是爵士乐的特点，而英伟达透过人工智能研究成果向爵士乐致敬，绘图创作者有朝一日将能够在即兴演奏时，利用演奏期间所创作出的3D对象进行即兴创作。

建筑师、设计师、概念艺术家与游戏开发者透过这项称为 NVIDIA 3D MoMa 的工具，可以迅速将对象导入绘图引擎，并进行处理、调整比例、变更材质或尝试不同的光线效果。

NVIDIA Research 在一部颂扬爵士乐及其发源地纽奥良的视频中展示该项技术，而本周在纽澳良举行的国际计算机视觉与模式识别会议（CVPR）上发表3D MoMa的技术论文。

从 2D 平面图像提取 3D 对象

逆向渲染是一项将一系列静态照片重建为 3D 对象或场景模型的技术，NVIDIA 绘图研究部门副总裁 David Luebke 表示：「这项技术对于统一计算机视觉与电脑绘图来说是梦寐以求的目标。」

David Luebke 亦表示：「藉着把每一个逆向渲染问题都当作 GPU 加速的可微分组件，NVIDIA 3D MoMa 渲染流程利用现代 AI 技术与 NVIDIA GPU 的原始运算能力快速产出 3D 对象，创作者便能运用现有的工具，自由地进行导入、编辑和扩展等作业。」

3D 对象的形式应能搭配游戏引擎、3D 建模器和电影渲染器等各式常见工具，才最能协助艺术家或工程师。该形式为 3D 工具的通用语言、带有纹理材质的三角网格（Triangle Mesh）。

游戏工作室与其他创作者过去使用复杂的摄影测量技术，耗费大量时间及人力来建立3D对象。最近在神经辐射场领域的研究成果可以用于快速生成 3D 对象或场景，但并非能够轻松编辑的三角网格格式。

NVIDIA 3D MoMa 搭配单一 NVIDIA Tensor 核心 GPU，能在一小时内产生三角网格模型。该流程的输出内容可直接兼容于创作者原本使用的 3D 绘图引擎与建模工具。

流程重建有三个特征：3D 网格模型、材质和光线。网格如同由三角形组成的3D形状纸糊模型。开发人员能通过网格来调整对象，以符合他们的创作构想。 2D 纹理材质像皮肤一样叠加在 3D 网格上，而 NVIDIA 3D MoMa 亦会判断场景的打光状况，以便创作者在后期调整对象上的光线。

为虚拟爵士乐队的乐器进行调整

NVIDIA 的研究和创意团队先搜集五种爵士乐器不同角度的图片各约 100 张，以展现 NVIDIA 3D MoMa 的能力，包括小号、长号、萨克斯风、爵士鼓和单簧管。

NVIDIA 3D MoMa 将每件乐器的 2D 平面影像，以三角网格重建为 3D 立体模型。接着，NVIDIA 团队从原始场景中取出这些乐器，并将其导入NVIDIA Omniverse 3D 模拟平台进行编辑。

创作者能够在任何传统的绘图引擎中，轻松为 NVIDIA 3D MoMa 产出的形状改变材质，仿佛替网格换穿上不同的衣服。 NVIDIA 团队便是借此方式更换小号模型的材质，例如瞬间就将原先来的塑料材质外观，改成黄金、大理石、木材或软木材质。

创作者接着便能把刚编辑好的物件放入任何虚拟场景中。 NVIDIA 团队将这些乐器放置在一个用于渲染质量的经典图形测试 Cornell Box，展示虚拟乐器对光线的反应，就像这些乐器在实体环境中的光线反应一般，亮面的铜管乐器会反射出明亮的光线，而雾面的鼓皮则会吸收光线。在视频结尾以虚拟爵士乐队展现这些使用逆向渲染产生的新对象，能够用以创造复杂的动画场景。