43、HDR-NeRF

简介

主页：https://shsf0817.github.io/hdr-nerf/

共享点

1. 提出了一种端到端方法HDR-NeRF，用于从不同曝光量的多个LDR视图中恢复高动态范围神经辐射场。
2. 建立了相机响应函数模型，并从亮度场中渲染不同曝光的HDR视图和LDR视图。
3. 收集了一个新的HDR数据集，包括合成场景和真实场景。与sota相比，我们的方法在该数据集上获得了最佳性能。数据集和代码将在本社区发布，用于进一步的研究目的。

实现流程

HDR-NeRF管道建模简化了物理过程。由两个模块组成:一个HDR亮度场为场景建模获得亮度和密度，一个色调映射器为颜色建模CRF。

原始NeRF公式

Camera Response Functions

入射辐照度被映射到像素值，并通过一系列线性和非线性图像处理(如白平衡)存储在图像中。所有的图像处理可以组合在一个单一的函数f称为相机响应函数(CRF)，而CRF由相机厂家独有。

以ISO增益和孔径为隐式因子，在不丧失一般性的前提下，非线性映射可建模为

其中H为辐照度，即入射到相机传感器上的总光量

Z为像素值

∆t为由快门速度决定的曝光时间

在神经辐射场中，忽略场景辐射对镜头光圈的积分，将辐照度视为辐射

Scene Representation

为了渲染新的HDR视图，将场景表示为有界3D体中的HDR辐射场，一个称为亮度场的MLP F被用来模拟HDR场景的亮度，它类似于NeRF。

输入射线原点 o 和射线方向 d，辐亮度场 F 输出射线 r(s) = o + sd的辐亮度e和密度σ

Learned Tone-mapping

CRF校准：确定像素的数字值和相应的辐照度之间的映射过程

基于CRF校准提出色调映射器，建模HDR射线到LDR射线的非线性映射，使用MLP f来估计相机的CRF，并将预测的亮度映射到颜色中，通过Eq.(4)将Eq.(5)预测的亮度e映射为颜色c

∆t® 表示捕捉光线r的相机的曝光时间，可以从包含照片元数据的 EXIF 文件中读取曝光时间

图像的RGB通道使用不同的 crf 进行色调映射，因此使用三个mlp来独立处理每个通道

采用经典非参数CRF标定方法，将所有图像转换为对数辐射域，对网络进行优化，这里假设音调映射器f是单调且可逆的

将$ln{f}^{-1}$的逆函数表示为 g，即 g = $(ln{f}^{-1}{)}^{-1}$

音调映射函数被转换为具有对数辐射域的函数g

Neural Rendering

使用传统的体绘制技术来渲染穿过场景的每条光线的颜色

为了呈现HDR视图，取消了色调映射操作。HDR像素值近似为:

loss

C为每个像素的真实颜色,${\hat{C}}_c,{\hat{C}}_f$分别为粗模型和细模型预测的颜色

论文通过颜色重建损失恢复亮度e到一个未知的比例因子α(即αe)，根据式(8)，相当于在函数 g 的自变量上增加一个位移 ln α，如（d）所示，为此需要添加一个附加约束来固定比例因子α，将g(0)的值固定为$C_0$，单位暴露损失定义为

这个约束的含义是，假设值为$C_0$的像素具有单位曝光。然而，$C_0$在实践中通常是未知的。在现实场景中，通常将$C_0$设置为像素值的中间位置，论文中使用0.5

λu为单位曝光损失的权重，训练时使用0.5

为了与地面真相HDR视图进行比较，在合成场景上设置$C_0$ = $C_0^{GT}$，其中$C_0^{GT}$表示输入对数辐亮度为0时地面真相CRF的像素值

效果