不用苦等电脑渲染好几个小时，这样高清的 3D 渲染效果，现在英伟达做到了实时实现。
各种复杂样式、比例的外观都能 hold 住，阴影也不在话下。
细节处理上，还远胜前辈高手（橙色为 DeepSDF）。
具体如何做到？
其实，同样是基于大名鼎鼎的神经 SDF（有向距离场）——计算机图形学中，常见的一种隐式曲面表示方法。
不过在这项研究中，大型神经网络的渲染不再必需，这就使得渲染效率提升了2-3 个数量级。
这也是首个基于 SDF 的 3D 高保真实时渲染方法。
相关论文一经发布，引起了不少来自谷歌、Epic Games 等等机构的专家学者的关注。
一起来看详情。
用稀疏体素八叉树进行编码
SDF 可以表示为 f ( x,y,z ) =d，是一个表示位置的函数，返回值是到物体表面的最近距离。
在进行渲染时，SDF 使用的是球体跟踪算法，该算法会沿射线执行距离查询。
而经典的神经 SDF 往往需要大型神经网络来进行编码，以便用隐式曲面来逼近复杂的形状，这就导致球体跟踪算法的代价很高。
△图源：论文一作，[email protected]
为了解决这个问题，来自英伟达、多伦多大学和麦吉尔大学的研究团队提出，改用稀疏体素八叉树（SVO）来对几何形状进行编码。
基于八叉树的特征量，可以自适应地拟合具有多个离散细节层次（LOD）的形状，并通过 SDF 插值实现连续 LOD。如此一来，就可以用一个小得多的多层感知机（MLP）实现加速渲染。
这里面的一个难点在于，如何快速地在八叉树中完成查询。
为此，研究人员还提出了一种基于 GPU 的算法，通过深度排序的 SVO 遍历来高效地完成空间跳跃，实现实时渲染。
不仅更快，重建质量也更好
速度上去了，渲染的效果是否有所损失？
实验结果显示，与 DeepSDF、FFN、SIREN 和 Neural Implicits 等方法相比，该方法的不仅体积更小、推理参数更少，性能表现也更强悍。
从下图中可以看出，该方法在细节恢复上远胜 FFN，还比 FFN 快了 50 倍，速度可以媲美 NI。
在两个更复杂的示例中，这种细节方面的优势体现更加明显。
不过，作者也坦言，该方法对于大场景，或者非常薄的几何体并不适用，也无法运用传统方法对渲染出来的几何体进行变形、制作动画。
关于作者
论文第一作者 Towaki Takikawa，目前在多伦多大学攻读 CS 博士。同时，他还在英伟达超大规模图形研究小组（Hyperscale Graphics Research group）工作。
他目前的研究兴趣，主要聚焦在机器学习驱动的 3D 几何处理算法上。
传送门
论文地址：
https://arxiv.org/abs/2101.10994
项目地址：
https://nv-tlabs.github.io/nglod/
如若转载，请注明出处：https://www.ozabc.com/keji/335618.html