发布了具有高真实感、全局一致性、外观精美和面向模糊目标的NeRF

模糊复杂目标的高真实感建模和渲染对于许多沉浸式 VR/AR 应用至关重要，其中物体的亮度与颜色和视图强相关。在本文中，来自上海科技大学的研究者提出了一种使用卷积神经渲染器为模糊目标生成不透明辐射场的新方案，这是首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案，并以任意新视角生成全局一致的 alpha 蒙版。

具体而言，该研究提出了一种有效的采样策略以及摄像机光线和图像平面，从而能够进行有效的辐射场采样，并以 patch-wise 的方式学习。同时，该研究还提出了一种新型的体积特征集成方案，该方案会生成 per-patch 混合特征嵌入，以重建视图一致的精细外观和不透明输出。

此外，该研究进一步采用 patch-wise 对抗训练方案，以在自监督框架中同时保留高频外观和不透明细节。该研究还提出了一种高效的多视图图像捕获系统，以捕获挑战性模糊目标的高质量色彩和 alpha 图。在现有数据集和新的含有挑战性模糊目标的数据集上进行的大量实验表明，该研究提出的新方法可以对多种模糊目标实现高真实感、全局一致、外观精细的不透明自由视角渲染。

该研究的主要贡献包括：

提出了一种新型卷积神经辐射场生成方案，用于重建高频和新视图中模糊目标的全局一致的外观和不透明度，并显著超越了此前的 SOTA 性能；

为了启用卷积机制，该研究提出了高效的采样策略，混合特征融合以及用于 patch-wise 辐射场学习的自监督对抗训练方案；

提出了一种高效的多视图系统，以捕获颜色和 alpha 图，以应对具有挑战性的模糊目标，该研究的捕获数据集可用于激发进一步的研究。

该方法的主要思想是使用空间卷积机制对不透明信息进行显式编码，以改进神经辐射场方法（NeRF），对高频细节进行建模。受 NeRF 启发，研究者采用了类似的隐式神经辐射场来表征使用多层感知器的场景，以及沿投射射线方向预测密度和颜色值的体融合（volumetric integration）。

不同的是，ConvNeRF 通过空间卷积设计进一步显式编码不透明度，以显著改进神经辐射场重建。为此，研究者首先提出一种高效的采样策略，不仅利用沿摄像机光线的先验固有轮廓，还要编码整个图像平面上的空间信息。接着采用一种全局几何表征法将 3D 位置映射成高级辐射特征，并通过一种新型体融合方案生成 per-patch 混合特征嵌入，这样一来分别对外观和不透明度的特征进行建模，从而以 patch-wise 的方式进行更高效的辐射场学习。

最后，研究者使用一个轻量级的 U-Net 来将特征 patch 解码为视图一致的外观和不透明度输出，并进一步采用了一种 patch-wise 对抗训练方案，以在自监督框架中保留高频外观和不透明度细节。

捕获系统

该研究用到的捕获系统（capture system）能够生成高质量的多视图 RGBA 图像，用于对具有挑战性的模糊目标进行显式不透明度建模。

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!