Siggraph2023:渲染向论文导读

A Realistic Surface-based Cloth Rendering Model

Paper

fiber 纤维,股的组成部分 ply 股(织线的组成) yarn 纺线,n-ply yarn,n股纺线 - ply level 由ply不同的数量、缠绕的方式造成的yarn的不同外观 woven cloth 梭织 - warp-weft 经-纬 knitted cloth 针织 Pasted image 20230805124031.webp - knittet coth 会由于缠绕方式的不同产生体积/阴影遮挡效果,这个层级被称为pattern level

BSDF

输入

  • 几何:由于有delta transmission的需要,分为正面和反面的两组geometric texture map,贴图作为一个最小的可重复tile(<256x256),内容包括:
    • ply法线贴图 \(\boldsymbol{n_p}(p)\)
    • ply切线贴图 \(\boldsymbol{t_p}(p)\)
    • 3D位置贴图 \(x(p)\)
    • ID贴图(指定yarn的类型,比如对于梭织来说,区别经线和纬线;以及yarn之间的空白空间以产生delta transmission) \(I(p)\)
    • ply中fiber的缠绕角度\(\omega\),按这个角度将ply切线贴图按ply法线贴图旋转就能得到fiber的切线方向
    • 加入一个噪声\(N(p)\)来模拟前文中提到fiber构成ply的不规律性,文章中采用的是amplitude为5°的柏林噪声
  • 着色:两个参数
    • albedo
    • roughness \(\alpha\):用于描述fiber级别的scattering lobe和per fiber对于主twisting angle \(\omega\)的偏移值

微观BSDF

ply level 表达式: \[ \begin{aligned} f(x, \mathbf{i}, \mathbf{o}) & =I(x)\left(f^{r, s}(x, \mathbf{i}, \mathbf{o})+f^{r, d}(x, \mathbf{i}, \mathbf{o})\right) \\ & +I(x)\left(f^{t, s}(x, \mathbf{i}, \mathbf{o})+f^{t, d}(x, \mathbf{i}, \mathbf{o})\right) \\ & +(1-I(x)) f^{\delta}(x, \mathbf{i}, \mathbf{o}), \end{aligned} \] 前两项分别是常规的reflectance和transmission,每一项由可以进一步细分为SpongeCake lobe(通过fiber的directional scattering/reflectance,依赖于\(x\)点的fiber方向)和diffuse lobe(multiple scattering);后面一项是delta transmission SpongeCake项用SGGX分布建模,由fiber切线和reflectance&transmission roughness作为参数。 \(I(x)\)决定了delta transmission和general reflectance/transmission的比例,越接近0则transmission的部分越多 Delta transmission 之前论文忽略的一项,用于建模布料中没有scatter的光路: \[ f^{\delta}(x, \mathbf{i}, \mathbf{o})=\frac{\delta(\mathbf{i}+\mathbf{o})}{\left\langle\mathbf{i} \cdot \mathbf{n}_{\mathrm{s}}\right\rangle} \] 这里特别解释了为什么除以了一个\(\left\langle\mathbf{i} \cdot \mathbf{n}_{\mathrm{s}}\right\rangle\):因为delta transmission不会产生立体角相关的能量损耗(like other singular BSDFs),用来抵消渲染方程积分项中的\(\cos \theta\)

中尺度BSDF

yarn level! 用于补偿微观BSDF未考虑到的non-local effects。这里使用了叫做 effective BSDF的公式(用于描述一个像素覆盖的微几何的reflectance的总和): \[ \begin{array}{r}f^{\text {eff }}(\mathbf{i}, \mathbf{o})=\frac{1}{A_{\mathcal{G}}(\mathbf{o})} \int_{\mathcal{P}} f(x(p), \mathbf{i}, \mathbf{o})\left\langle\mathbf{n}_{\mathbf{p}}(p) \cdot \mathbf{i}\right\rangle \\ V(x(p), \mathbf{i}) A_{p}(p, \mathbf{o}) k_{\mathcal{P}}(p) \mathrm{d} p, \end{array} \] 其中\(\mathcal{P}\)被称为flat geometric surface patch,也就是像素中的几何表面单位集合,对应的是kernel\(k_{\mathcal{P}}\)作为归一化项(集合上的积分为1);微几何由前面的贴图参数决定: \[ \mathcal{G}(\mathcal{P})=\left\{\mathbf{n}_{\mathbf{p}}(p), \mathbf{t}_{\mathbf{p}}(p), x(p) \mid p \in \mathcal{P}\right\} \] \(V(x,d)\)是方向\(d\)的二元可见性,\(A_{\mathcal{p}}(p,o)\)\(o\)方向可见投影区域的面积(论文里好像说错了成了AG): \[ A_{p}(p, \mathbf{o})=\frac{\left\langle\mathbf{o}, \mathbf{n}_{\mathbf{p}}(p)\right\rangle}{\left\langle\mathbf{n}_{\mathbf{s}}, \mathbf{n}_{\mathbf{p}}(p)\right\rangle} V(x(p), \mathbf{o}) \] 最后\(A_{\mathcal{G}}(o)\)是沿\(o\)方向的总投影面积: \[ A_G\left(\mathbf{o}\right)=\int_{\mathcal{P}}\frac{\left\langle\mathbf{o},\mathbf{n_p}(p)\right\rangle}{\left\langle\mathbf{n_s},\mathbf{n_p}(p)\right\rangle}V\left(x(p),\mathbf{o}\right)k\rho\left(p\right)\mathrm{d}p=\frac{\left\langle\mathbf{o},\mathbf{n_f}(\mathcal{P})\right\rangle}{\left\langle\mathbf{n_s},\mathbf{n_f}(\mathcal{P})\right\rangle}, \] 其中\(n_f(\mathcal P)\)是像素中的平均可见微观法线

高效实现

  • 出于存储空间、预计算时间和高精度纹理的支持,不对\(f^{\text {eff }}\)做预计算,on flight地estimate: \[ \langle f^{\mathrm{eff}}(\mathbf{i},\mathbf{o})\rangle=\frac{1}{N_{f}A_\mathcal{G}(\mathbf{o})}\sum_{i=1}^{N_{f}}\frac{f_{p}(p_{i},\mathbf{i},\mathbf{o})}{\mathrm{pdf}(p_{i})}, \] 这里直接是在\(\mathcal P\)中进行uniform的采样,每次在宏观表面产生一次intersection就基于微分光线对BSDF进行计算。实际实现的时候利用了PixelSampler然后\(N_f\)设为1(好暴力),肯定会让方差变大,但是综合速度的考虑,以及主导的方差应该是illumination产生的,所以认为这个方案暂且可行(你说是那就是吧 however,由于\(A_\mathcal G\)中的\(n_f(\mathcal P)\)本身就是一个积分的结果,如果还这么玩可能会出事,所以服软选择预计算这个项。具体的方案是对position map进行降采样来最小化不同mipmap level的中尺度平均表面坡度(?),然后将他们存储为法线贴图,在渲染时进行采样。这么做的后果就是让estimator变成有偏的,因为没有考虑对于base pattern map进行的扰动(前面提到的噪声\(N(p)\))。
  • 前文提到过的二元可见性项\(V(x,d)\)是用来衡量shadowing和masking的,在中尺度几何上考虑局部的可见性,可以用在texture space上的水平搜索(ray marching?)来实现,但是计算量大,同时维度较高,预计算也不太可能。 解决办法是用各向异性球面高斯基(ASG)来近似每个texel的可见性: \[ \begin{aligned}V(p,\mathbf{d})&\approx\mathrm{ASG}(\mathbf{d}|\boldsymbol{\mu}(p),\gamma(p),\sigma_X(\boldsymbol{p}),\sigma_y(\boldsymbol{p}),C(\boldsymbol{p}))&(7)\\&=C\langle\boldsymbol{\mu}(p)\cdot\mathbf{d}\rangle\exp(-\sigma_X(\boldsymbol{p})(\mathbf{d}\cdot\mathbf{x}(\mathbf{p}))^2-\sigma_X(\boldsymbol{p})(\mathbf{d}\cdot\mathbf{y}(\mathbf{p}))^2)\end{aligned} \] 看起来和球谐函数是一个路子,但是可以存储方向性的数据,因此对于每个texel的visibility可以仅存储5个float来解决。
  • 拟合ASG到\(V\)\(x\)周围的法线进行径向采样,对于每个\(\phi\)都计算半径为20像素的临近像素对应的水平角度\(\theta(\phi)\in[0,\pi/2]\),然后计算horizen,fit到ASG中。\(\mu(p)\)由将其集中在弯曲法线以下得出(?)。剩下的几个形状参数因为发现在切线空间中的2D高斯基能提供类似的拟合,就计算这些二维高斯基的协方差矩阵,即使用协方差的在线加权,权重系数和样本对应的立体角有关。

Deep Real-time Volumetric Rendering Using Multi-feature Fusion

Paper

To be continued...

作者

Carbene Hu

发布于

2023-05-15

更新于

2024-02-14

许可协议

评论