仅8G显存！GTSR：双高斯核加持的3DGS，半透明重建倒角距离低至0.6×10⁻³mm！

击下方卡片关注「3DCV」公众号选择星标干货第一时间送达来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、300场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入0.这篇文章干了啥这篇文章提出了一种名为 GTSR 的基于 3DGS 的新管道用于从多视图图像中精确重建半透明物体的表面几何形状同时保持高效的训练过程和高质量的渲染性能。此前重建半透明物体的方法存在计算成本高、难以处理复杂光学特性等问题而现有的 3DGS 方法也不适用于半透明物体。GTSR 结合了表面高斯核和内部高斯核分别用于表示表面颜色和散射颜色通过引入菲涅尔项来模拟光线穿过表面时的衰减解决了优化目标冲突的问题。为了进一步提高重建表面的细节文章基于 3DGS 渲染管道和迪士尼 BSDF 模型采用基于物理的渲染PBR方法并使用延迟渲染来降低计算复杂度。实验在 NeuralTO 的半透明物体重建数据集上进行结果表明 GTSR 在表面重建和新视角合成方面均优于现有方法且具有出色的实时渲染性能。此外文章还扩展了数据集以测试算法对不同材料的适应性结果显示该方法在处理不同材料属性的物体时表现出卓越的性能和更高的稳定性。文章最后指出虽然 PBR 改善了表面几何形状但由于材料解耦不足精细细节仍较模糊且模型简化了半透明物体中的光传输未来可结合几何先验来更好地处理透明度问题。下面一起来阅读一下这项工作~1. 论文信息论文题目GTSR: Subsurface Scattering Awared 3D Gaussians for Translucent Surface Reconstruction作者Youwen YuanXi Zhao作者机构Xi’an Jiaotong University Xi’an, Shaanxi, China论文链接https://arxiv.org/pdf/2603.220362. 摘要从多视图图像中重建半透明物体是一个难题。此前研究人员使用可微路径追踪和神经隐式场这需要相对较大的计算成本。最近许多工作基于 3D 高斯曲面3DGS管道在不透明物体的重建上取得了很好的效果且效率更高。然而这类方法难以处理半透明物体因为它们没有考虑半透明物体的光学特性。在本文中我们提出了一种基于 3DGS 的新型管道GTSR来重建半透明物体的表面几何形状。GTSR 结合了两组高斯曲面即表面高斯曲面和内部高斯曲面分别用于模拟光线穿过半透明物体时的表面颜色和散射颜色。为了渲染半透明物体的外观我们引入了一种使用菲涅耳项来融合两组高斯曲面的方法。此外为了提高非轮廓区域的重建细节我们引入了基于延迟渲染的迪士尼双向散射分布函数BSDF模型来增强法线和深度的约束。实验结果表明我们的方法在 NeuralTO 合成数据集上的表现优于基准重建方法同时展现出了出色的实时渲染性能。我们还扩展了数据集加入了具有不同材料属性的新半透明物体并证明了我们的方法能够适应不同的半透明材料。3. 效果展示图6NeuralTO数据集上的表面重建结果。我们将我们的方法与几种表面重建方法进行了比较包括基于NeuS的方法NeuralTO [3]和基于3DGS的方法PGSR[5]。图8真实世界半透明物体数据集上的表面重建结果。输入图像由相机在黑暗环境中使用闪光灯拍摄。4. 主要贡献提出基于 3DGS 的半透明物体表面重建管道我们提出了一种基于 3DGS 的半透明物体表面重建管道。消除优化冲突通过使用两组不同的高斯函数即表面高斯函数和内部高斯函数我们消除了半透明物体表面重建过程中的优化冲突。增强表面几何约束我们使用基于延迟渲染的 PBR 方法来分解几何和材料属性进一步增强了表面的几何约束。实现先进性能与验证适应性我们在 NeuralTO Syn 数据集上实现了半透明物体表面重建的最先进性能。此外我们通过添加具有不同材料属性的物体来扩展数据集验证了我们的方法对不同半透明材料的适应性。5. 基本原理是啥基于 3DGS 的半透明物体表面重建管道提出了一种基于 3DGS 的新管道GTSR来精确重建半透明物体的表面几何形状。使用两组高斯核即表面高斯核和内部高斯核分别表示表面颜色和散射颜色。表面高斯核密集且不透明度高用于表示表面几何形状和颜色内部高斯核位于物体内部用于模拟散射效果。引入菲涅尔项的渲染方法在渲染时为了使内部高斯核可见且不降低表面高斯核的不透明度引入菲涅尔项到渲染管道中。通过将菲涅尔项作为权重乘以表面高斯核的不透明度模拟光线穿过表面时的衰减现象。表面高斯核在视线接近平行于其方向时变得更透明有效模拟了半透明物体表面在垂直于视线方向观察时更透明的特性。基于迪士尼 BSDF 模型的延迟渲染引入基于 3DGS 渲染管道和迪士尼 BSDF 模型的可优化 PBR 模块将深度和表面法线明确纳入渲染在优化过程中实现更严格的几何约束。该模块由镜面 BSDF、电介质 BRDF 和次表面扩散三个组件组成通过延迟渲染高效组合这些组件得到最终渲染结果。延迟渲染将物体的法线和材料等属性分解为纹理图并在屏幕空间进行复杂的光照计算具有优化过程更稳定、计算复杂度低等优点。训练约束内部高斯核约束引入约束项确保内部高斯核完全包含在物体内部避免其散落在物体表面外影响渲染质量或导致优化不稳定。光度损失采用 L1 损失和 SSIM 损失来衡量渲染图像与真实图像之间的差异。表面高斯核的几何约束采用 PGSR 中提出的单视图损失和多视图几何一致性损失。PBR 材料约束引入类似于 RelightableGS 的平滑正则化防止相邻区域的 PBR 材料属性出现突然变化。最后将所有约束项组合成完整的训练目标。6. 实验结果表面重建结果对比方法将 GTSR 方法与 NeuralTO、NeuS、HF - NeuS、Ref - NeuS、2DGS 和 PGSR 等最先进的表面重建方法进行对比。定量结果在大多数场景中GTSR 方法表现最佳平均倒角距离最低。可视化结果与 PGSR 等基于 3DGS 的常规表面重建方法相比GTSR 方法的重建结果孔洞更少、细节更多表明该方法改善了非轮廓区域的细节。新视角合成结果对比方法将 GTSR 方法与 NeRF、3DGS、SSS、PGSR、IRON、GaussianShader 等方法进行对比。定量结果使用特定渲染结果进行评估与 NeuralTO 和 PGSR 相比GTSR 方法在渲染质量上有显著提升表明该方法有效解决了处理半透明物体时外观和几何正则化项之间的优化冲突且与新视角合成相关工作相比能获得相似甚至更好的渲染效果。消融实验结果无 PBR 渲染不使用 PBR 渲染估计物体表面几何结构时非轮廓区域细节较差表面重建质量显著下降。无菲涅尔项在计算中不添加菲涅尔项虽仍可获得较好的渲染结果但可能导致几何结构优化方向错误。无内部高斯仅使用表面高斯未区分表面和内部高斯会使表面高斯受到内部散射因素干扰无法专注于表示表面几何结构。完整方法添加菲涅尔项并使用延迟渲染计算时表面重建质量最佳证明了该方法的有效性。真实世界数据测试结果在真实世界半透明物体数据集上测试 GTSR 方法输入图像由相机在黑暗环境中使用闪光灯拍摄使用 SAM3 辅助分割并将图像背景遮罩为黑色。虽无真实世界数据集的地面真值但可视化结果显示该方法能够重建相对完整的表面几何结构。7. 总结 未来工作总结本文提出了一种基于 3DGS 的新型管道GTSR用于精确重建半透明物体的表面几何形状且训练过程更高效。主要贡献如下提出了一种基于 3DGS 的半透明物体表面重建管道。通过使用两组不同的高斯核表面高斯核和内部高斯核消除了半透明物体表面重建过程中的优化冲突。使用基于延迟渲染的基于物理的渲染PBR方法来分解几何和材料属性进一步增强了表面的几何约束。在 NeuralTO Syn 数据集上实现了半透明物体表面重建的最先进性能。此外通过添加具有不同材料属性的物体扩展了数据集验证了该方法在不同半透明材料上的适应性。实验结果证实该方法在 NeuralTO 的半透明物体重建数据集上实现了最佳的重建质量同时具有出色的实时渲染性能且所需时间比最先进的基于 NeuS 的方法更少。未来展望虽然 PBR 改善了表面几何形状但由于材料解耦不足精细细节如龙鳞仍然模糊。该模型还简化了半透明物体中的光传输省略了折射和背面照明这限制了其在玻璃等透明物体上的性能。未来的工作可以结合几何先验如深度或法线估计来更好地处理透明度。此外该方法假设了共定位照明无法处理环境照明引入可学习的环境地图可能会有所帮助。本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。