NeRF笔记介绍说明.pdf

前置知识

NeRF

NeRF:RepresentingScenesasNeuralRadianceFieldsforViewSynthesis

hashgrid-basedNeRF

InstantNeuralGraphicsPrimitiveswithaMultiresolutionHashEncoding

instant-ngp

体渲染技术

离散体素网格

alpha混合alpha-compositing

经典体渲染方法classicalvolumerendering

什么是3维内容

3维内容是包括形状和外观模型的组合，能够渲染为不同视角的2维图像。

直接构造精准的三维模型非常困难和耗时，因此利用反渲染的技术从图像直接构建

出三维模型。

NeRF

显示三维表示和隐式三维表示

使用全连接层隐式表示三维结构。

三维空间显示表示：体素Voxel、点云PointCloud、三角面片Mesh等。

三维空间隐式表示：符号距离函数（SDF，SignedDistanceFunciton）、占用场

（OccupancyField）、神经辐射场（NeRF，NeuralRadianceField）等。

符号距离函数：表示一个点到一个曲面的最小距离，用正负来区分点在曲面内外。

点在曲面内部则规定距离为负值，点在曲面外部则规定距离为正值，点在曲面上则

距离为0。

占用场：表示一个点被曲面占用的概率（占用就是在曲面内部），用神经网络表示

的占用场又叫做NeuralSurfaceField。是空间中的点，表示被曲面占用的概

率。和SDF的区别在于，SDF中没有取值范围限制，而占用场的的取值是。

神经辐射场：将“空间中的点+点发出的一条射线”映射到“点的密度值+射线的方向对

应的颜色值”。将传统的离散采样几何替换为了连续的体积函数，参数化为多层感知

机。

是球坐标系下表示的方向，表示俯仰角，表示偏航角。视线上的点表示

为

是相机的光心在世界坐标系的坐标

是直线方向，世界坐标系下的单位向量

是一个实数表示从点沿着视线到点的距离

表示世界坐标系下的点

（笛卡尔坐标系，方向在球坐标系是，为了方便使用通常用笛卡尔坐标系，

虽然包含三个量，但方向向量是单位向量，所以只有2个自由度）

由的计算公式，输入点的坐标和视角是在世界坐标系下的。

（场的概念类似于函数，表示一种映射关系，场的定义是向量到向量或数的映射，

空间中的场可以认为是“空间中点”到“点的属性”的映射，也就是每个点对应这个点

的属性。）

三维模型的外观表示

1、Materialtexturemapenvironmentlighting材料纹理映射和环境光

把三维模型的外观（材料、纹理）展开为2维图像，每个像素存储对应的3维点，即

把2维的材料、纹理性质映射到3维模型上面。

全景图表示光照，从不同方向入射到物体表面的光。

材料光照分开，可以编辑，如更换材质贴图，光照。

2、辐射场Radiancefield（表面光场surfacelightfield）

材料光照结合，无法编辑。

NeRF的形状表示

NeRF的形状表示类似于烟雾，软形状表示方式softshape。

NeRF的外观表示

NeRF输入：

图像