跳到主要内容

04 - RTRT领域特有的过滤方法

本文将简要介绍RTRT领域中特有的过滤方法SVGF（Spatiotemporal Variance-Guided Filtering）和RAE（Recurrent AutoEncoder）。

SVGF​

概念​

SVGF（Spatiotemporal Variance-Guided Filtering），和之前说的基于时分的降噪思路差不多，但多了些技巧和每像素的方差分析。

未降噪, SVGF, 可接受的结果

基于联合双边滤波的思路​

深度值角度​

其中，分母σz\sigma_z为深度值的影响参数；深度值的梯度∇z(p)\nabla z(p)则考虑到A。B两点情况，A和B应能相互贡献，但由于A和B深度差距过大反而不能相互贡献，因此要加上这一项；ϵ\epsilon则保证分母是正数。

法线值角度​

其中，σn\sigma_n为法线值的影响参数，同时控制wnw_n的衰减。如果要使用法线贴图，就不要将“扰乱”表面法线信息一类的法线贴图（如凹凸贴图）作为参数传进来。

灰度值角度​

可以将颜色值转换为灰度值后再考虑两点的互相贡献。例如在考虑A是否贡献到B时，要参考B周围7x7灰度值的方差和3x3的滤波结果（空间）和Motion Vector的结果（时间），然后决定A对B的贡献程度。

缺陷​

  • 在噪声和过度模糊中选择了过度模糊，改进版是ASVGF。
  • 残影现象

RAE​

概念​

RAE（Recurrent AutoEncoder），使用神经网络和G-Buffer上的信息对路径追踪的结果降噪，属于后处理范畴，且神经网络会自动累计时间上的信息。

结构​

关键设计点：

  • 使用AutoEncoder/U-Net结构，容易处理图像
  • 每层神经网络不仅连向下一层，也能连向本层，实现累计时间上的信息。

训练模型时要以连续的帧作为材料。

两种方法的比较​

参考资料​