NVIDIA DLSS 3.5揭晓：AI增强光线追踪速度更快、更好，并支持所有RTX GPU，将于今年秋季登陆

NVIDIA宣布推出DLSS 3.5，这是升级技术的下一个重大更新，现在可以加速光线追踪，并通过AI使其看起来更好。
NVIDIA-DLSS-3.5-Custom.png
今天是DLSS在2018年Gamescom展上首次推出的5周年纪念日。自此该技术已成为NVIDIA RTX GPU的基本组成部分，并且在NVIDIA的AI超级计算机始终努力工作的帮助下，不断进行更新，使该技术变得更好在训练模型时。继DLSS 1之后，该公司推出了四项主要更新，如下所列：

DLSS 1（2018年8月）-向世界介绍深度学习超级采样
DLSS 2（2020年3月）-有更好品质和性能的新神经网络
DLSS 2.3（2021年11月）-改进了运动、重建和时间稳定性的细节
DLSS 3（2022年10月）-新的Frame Generation功能将性能提高了2倍
DLSS 3.1（2023年1月）-提高了快速移动期间的UI稳定性和质量

今年在Gamescom 2023上NVIDIA揭开了其第二个主要DLSS 3更新（称为DLSS 3.5）的面纱。在DLSS 3.5中NVIDIA通过帮助训练DLSS的相同AI模型专门增强了光线追踪。但要了解DLSS 3.5的作用，我们必须了解光线追踪的传统工作原理。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_1-scaled.jpg

今天RT进行得怎么样
典型的光线追踪照明渠道首先生成拥有材质和几何形状的场景。此时没有应用任何光照效果。然后使用反射和全区照明等各种照明效果对该图像进行采样。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_2-scaled.jpg

在下面的范例图像中，您可以看到场景没有完全覆盖，留下黑色像素，这些像素是照明信息中的间隙，并且这些空白空间留在那里，因为您无法拍摄足够的光线来填充每个像素，或者当它们会反弹，但分布不均匀。因此结果是无论场景中有多少光线，总会遗失画素。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_3-scaled.jpg

这就是降噪器发挥作用的地方，它分析这些采样的光线并使用空间和时间技术填充遗失的像素。游戏引擎可以为每个闪电效果包含多个降噪器。降噪器完成工作后，合成RT图像，然后放大到原始分辨率。降噪器使用以下方法：

时间累积：跨多个Frames采样光线（可能导致重影或RT较差）
空间插值：填充黑色间隙并与相邻画塑混合（可能导致图像模糊或不均匀）
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_4-scaled.jpg
虽然这些降噪器可以针对某一特定标题进行手动调整，但它们可能会导致光照效果不准确、全区照明质量较低以及反射质量较低。此外降噪器还可以去除放大所需的高频颜色数据，导致应用RT后的最终图像缺少细节。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_5-1456x819.jpg

NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_6-1456x819.jpg

这就是 DLSS 3.5 的用武之地！
因此NVIDIA设计了一种新的解决方案来解决这些问题，最新一代的DLSS就在这里。 DLSS 3.5在DLSS管道中添加了一项全新功能，称为RR或光线重建。光线重建本质上是取代我们上面讨论的传统RT管道中使用的多个降噪器。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_7-scaled.jpg

NVIDIA表示RR的训练数据量是DLSS 3的5倍，这就是为什么它使RR成为在游戏和引擎中的更明智的使用选择。 RR经过训练可以合并额外的引擎数据，辨识不同的光线追踪效果，便是好坏的时间和空间像素，并保留高频数据以进行升级。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_8-scaled.jpg

透过对传统降噪器和启用DLSS 3.5的特写比较，我们可以看到新的超级采样技术保留了好像素并丢弃了坏话素，与简单地混合采样光线和像素的降噪器相比，光线追踪品质要好得多。这种巨大的差异是由于离线训练的巨大数据集而实现的，并且其计算强度远远高于即时可用的数据。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_9-scaled.jpg

在跑Portal RTX 和Cyberpunk 2077的多个比较图像中，我们可以看到DLSS 3.5及其神经训练数据提供了极其优越的RT照明，看起来更加真实，不会使图像看起来模糊或留下遗失的照明点。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_10-1456x819.jpg

NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_11-1456x819.jpg

照明再次只是RT的一个方面，反射也利用了新的AI模型，提供了更少模糊的图像，因为原始图像的数据被保留，而不是像降噪器那样混合在一起。这会导致最终渲染图像中的反射更加清晰。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_12-scaled.jpg

更好的RT质量和更好的性能
那么所有RT优点都意味着它会对GPU造成负担，对吧？事实并非如此，事实上启用DLSS 3.5的光线重建将带来比普通DLSS 3更好的性能。在Cyberpunk 2077的一个展示中，我们可以看到关闭DLSS和使用各种AI技术之间的性能差异。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_13-scaled.jpg
关闭DLSS并启用RT-Overdrive（路径追踪）时，游戏可产生21 FPS。启用DLSS 2后，您可以将FPS大幅提高3倍以上，同时保持良好的IQ（图像质量），而DLSS 3使用FG（Frame Generation）技术进一步将其提升到一个新的水平，提供更高的性能。然后我们新推出了DLSS 3.5，它在这些基础上添加了比DLSS 3更好的性能，同时也是RT优点的视觉。您可以看到DLSS 3.5如何比其他方法更真实地填充墙壁和各种表面上的材质。

NVIDIA解释说导致性能提高的一个方面是他们可以用单个AI模型取代多个Deniers ，最终性能将取决于游戏的不同。此外DLSS 3.5将不仅仅局限于游戏，还拥有主要的内容创作和Pro优势。 D5渲染器也将获得DLSS 3.5更新，允许使用RT渲染图像。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_14-scaled.jpg
在整合方面NVIDIA表示他们将使光线重建与实现超级分辨率一样容易使用插件实现。开发人员只需关闭内部降噪器，因为信息必须传递到DLSS AI模型。因此从整合的角度来看这听起来不错，预计未来一年会有更多RR增强型游戏。

它确实有效（并适用于所有RTX GPU）
好消息是NVIDIA将在所有RTX GPU上提供DLSS 3.5光线重建支持，从RTX 20系列开始，一直到RTX 30和RTX 40 GPU。 DLSS 3.5框架还将包括现有的超级分辨率、DLAA和Frame Generation技术，这些技术在其自己的特定GPU代中得到支持。这些技术将利用NVIDIA Tensor Core技术来实现无与伦比的性能和令人惊叹的视觉质量。
NVIDIA-Gamescom-2023-Update-_-DLSS-3.5-_15-scaled.jpg
开发人员将能够在DLSS 3.5框架中的所有这些技术之间进行选择，如果他们想关注性能、图像质量或两者，这完全取决于他们的偏好。

什么时候出？
NVIDIA DLSS 3.5将于今年秋天登陆三款主要游戏，包括Cyberpunk 2077（带有Phantom Liberty更新）、Portal with RTX以及非常棒的Alan Wake 2 ！除了游戏之外，Omniverse Platform、Chaos Vantage和前面提到的D5 Render也将使用DLSS 3.5模型。