Facebook研制神经超采样技术 用以抗衡DLSS_3DM单机

SIGGRAPH 2020大会即将召开，Facebook研究人员今天发表了一篇文章，介绍了“神经超采样”（neural supersampling）技术，这是一种根据人工智能机器学习为基础的提高图像清晰度的算法技术，跟NVIDIA的DLSS“深度学习超采样”技术差不太多。不过，这个神经超采样并不需要专门的硬件或者软件就能实现，而且结果还不错，基本可以媲美DLSS的效果。

“和我们的研究比较接近的，Nvidia最近发布了深度学习超采样（DLSS），可以将低分辨率图片通过神经网络进行实时处理，放大采样。

在本文中，我们将介绍一种新方法，让现代游戏引擎容易整合，不需要特殊硬件或软件，可应用于许多现有的软件平台、加速硬件和显示器。

我们观察到，对于神经超采样来说，由运动向量提供的额外的辅助信息起到了关键作用。运动向量决定了连续帧内像素之间的几何学对应。换句话说，每个运动向量都指向了亚像素地点，在这些像素上，一个可见表面点可能会出现在上一帧的邻近位置。这些值通常由计算机视觉方法进行估算，但这样的光学流动模拟算法容易出错。对比之下，渲染引擎可以直接制作密集的运动向量，从而得到可靠的、丰富的输入信息，提供给神经超采样，应用于渲染画面内容。

我们的方法就是基于以上观察，结合了额外的辅助信息，使用创新的时空神经网络设计，将图片和视频品质最大化，同时提供实时运算性能。”

在文章中，Facebook提到了神经超采样技术可能会应用于AR和VR程序，为他们的Oculus平台提供便利。不过如果效果好的话，应用于其他3D游戏应该也是可行的。当然，新技术需要靠实践去检验，我们很期待看到这个神经超采样的实际表现。