Please enable JavaScript.
Coggle requires JavaScript to display documents.
Anisotropic Volumetric Rendering, ⛅Real-Time Neural Appearance Modeling…
Anisotropic Volumetric Rendering
A radiative transfer framework for rendering materials with anisotropic structure-Wenzel Jakob
[TOG10]
Novelty:填补了各向异性volume rendering的空白
Memory Cost High
提供了将各向异性介质集成到基于物理的绘制系统中所需要的理论和实践, 很好的theory ref
Time Cost High
SGGX microflake distribution-Heitz
[TOG15]
jakob在2010提出的用于描述体散射的microflake理论缺乏封闭形式算子，无法用于评估相位函数和重要性采样，而SGGX可以做到。
Novelty:提出一种新的微表面模型：利用了微表面的投影面积，来参数化一个椭球作为表示，这种表示支持插值且具有一些不错的性质，可用来表示具有空间变化的各向异性微表面的参与介质。
简化版的更加好用的各向异性模型
Neural LoD
Neural Prefiltering for Correlation-Aware Levels of Detail [SIG23]
Novelty:基于voxel rtay tracing，用两个网络来建模neural lod：1. appearance network; 2. visibility network. 两个NN训练时均使用hash grid，visibility nn会有一些比较特殊的技术点。
LoD几类做法
纯几何；
从外观出发做聚合，比如SGGX，但这些基于volume的方法可能会导致visibility不准确，某些视角下可能会有错误的结果。
Appearance Prefiltering 4. Nerf 5. Neural LOD
Deep Appearance Filtering [TOG23]
Novelty：只需遍历数据结构和infer网络即可获得较好图像，phase更加精准，能复原specular；不用启发式分类surface和volume等不同层级，得益NN可自适应interp同场景下不同区域的内容密度（比如楼房surface和树木volume）
场景体素化，转成SVO，每一个fragment在各个角度下trace，得到phase，albedo和convergence(visibility)，以table形式保存
训网络，encoder把上述数据和position信息压缩成latent，然后用decoder解码
训完之后把encoder抛弃，decoder的权重冻结并导出到渲染器内进行推理。最后渲染时直接查找latent vector并附加当前的方向信息，以直接只用decoder进行infer，从而从原始表格数据生成特定条目。
上篇方法比较bake，把一个场景预处理后提取所有level的phase，visibility和albedo，然后bake decoder；
下篇用hash encoding，把lod拆成appearance和visibility，形式上更像nerf？
A new microflake model with microscopic self-shadowing for accurate volume downsampling [CGF18]
Novelty: 提出一个新模型，允许独立控制介质方向透明度和多重散射的量，
LoD准确性很大程度上决定于各向异性透明度，低分辨率的体积上准确性取决于估计的albedo和phase
A non-exponential transmittance model for volumetric scene representations [TOG21]
Practical Multiple-Scattering Sheen Using Linearly Transformed Cosines [SIGreport22]
Deep Real-Time Anisotropic Volumetric Rendering???
TODO:
1.
是否和Neural LoD有重叠部分
？
是否是一个新的方向？
是否需要基于一个更细的方向，
如bio based皮肤或头发，还是做通用的？
MRPNN代码
是否可以用
，是否有数据集？
4. 有人已经做过了吗？？？
毛发和皮肤目前是否已经可以做到实时渲染？
点光源支持：todo1，todo2，...
1.1 MRPNN PT 实现点光源
各向异性支持：todo1，todo2，...
A Radiative Transfer Framework for Spatially-Correlated Materials [SIG18]
Accurate appearance preserving prefiltering for rendering displacement-mapped surfaces [SIG19]
A Realistic Surface-based Cloth Rendering Model [SIG23]
Real-Time Cloth Rendering with Fiber-Level Detail [VCG19]
⛅
Real-Time Neural Appearance Modeling [23]
Deep Scattering: Rendering Atmospheric Clouds with
Radiance-Predicting Neural Networks-Muller [SIG17]
Deep Real-time Volumetric Rendering Using Multi-feature Fusion [SIG23]
Novelty: 相比于RPNN，通过进一步简化RTE和约束，大幅度缩小MLP参数量，大大提高渲染速度，同时支持可调phase和正确阴影
Limitation:不支持点光源，不支持各向异性，有一些failure case
自适应stencil?提一个更加generative的模型，支持大部分volume物体的加速？
Novelty:提出一个新方法，可以实现快速且误差较小的云渲染
光传输并不是局部的，和云的geometry有关，因此提出stencil来感知渲染点的周围分布，作为输入喂到简单的MLP中
Novelty: bake电影级复杂材质，使用
基于图形先验
的轻量级encoder和decoder，用encoder预先bake出latent texture,infer时只需latent texture(u,v)和decoder即可
在多个workflow之间切换时，只需交换latent texture和decoder weight table
适合参考其bake高质量anisotropic volume
Lightweight Neural Basis Functions for All-Frequency Shading [SIG22]
Novelty: 支持对encoded的latent code做旋转和积分操作，算neural basis的milestone？但性能不太行且需要微调，还有很大提升空间
1.输入2dspherical func，训练一个encoder-latent code-decoder的类unet；
2.在上一步中，训练过程中还需要额外训练三个util NN，分别为旋转操作，二项积分和三项积分，训练这三个网络
3.使用时encode得到latent code，对隐向量做rotate，用三项积分或二项积分decoder直接得到积分结果
Bio-Base
A Biologically Inspired Hair Aging Model
Novelty:文章基于21年的一篇头发老化定量分析的论文提出biobased头发老化模型，根据头皮区域模拟了头发变白和变稀疏两个方面的变化，论文较多部分基于经验模型。工作以插件形式集成到UE5，metahuman渲染，视觉效果很好。
预处理时：1.对法向量聚类进行头皮区域分割生成mask；2. 计算老化因子；3.在
UE5 metahuman中进行渲染
。有很多操作是基于经验模型的，很符合图形学，基于UE5实现起来也比手写渲染器容易
BioFaceNet: Deep Biophysical Face Image Interpretation, Sarah Alotaibi
Deep learning-based optical approach for skin analysis of melanin and hemoglobin distribution 23
Although not the same study, the overall concept is explained:* Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin
Using the basic U-net structure of 1 input and 4 outpus is sufficient,
and it is necessary to save the model frequently in training and check all the analysis results, because it is trained without GT.
Novelty:
image space上
，通过UNet做到image to 黑色素/血红蛋白的网络映射，并有真实数据集做对比
Theoretical Model&Distribution
Cloth&Fiber
NN Volume Rendering
Theoretical Model&Distribution
TODO：