这是HDR Imaging系列的第五篇文章，之前我们介绍了几种HDR sensor的原理，不论是时域multi-exposure time，还是空域multi–sensitivity pixel或者multi conversion gain生成HDR，都是形成image exposure stack，进行multi-frame composition，从而生成HDR 图像，这一节我们就来介绍HDR image的生成过程，学术界一般叫HDR image fusion，工业界叫HDR composition，WDR frame stitching等等。
Frame compostion可以在linear domain，也可以在non-linear domain，我们以linear domain的frame composition为例。
Irradiance与pixel value
举例：Image sensor 输出3帧单曝光图像，曝光时间比为N, 形成如视频1所示的exposure stack。
3张图覆盖了从暗到亮的场景irradiance信息。
对于每个pixel位置x而言，它的irradiance, E可以用如下公式1-1表示：
Ii（x）是在第i个曝光图像位置X的像素值，Δti是其对应的曝光时间，Ne是n帧曝光。
w（Ii（x））是该像素的权重函数。
从这个公式我们一方面可以看出，HDR composition的目标，即更大地恢复原始场景的irradiance map（Lux_low —Lux High）。
另一方面，从这个公式可以看出image composition的基本步骤：
1.像素值归一化Ii（x）/Δti, 这样不同曝光帧的像素才可以融合。
2.归一化之后的像素值与权重函数W相乘
3.对权重做归一化。
这里有两个假设，一是image stack没有发生位移的，如果前后帧图像存在位移，那么在图像融合的之前应该先做图像配置image Registration。第二个假设是图像是线性的，如果图像是非线性的，需要先对图像做线性化。
权重函数
假设image stack是没有位移的，而且是线性的，选择什么样的权重函数则是决定HDR composition的重要因素，不同的权重函数W会产生出不同的图像SNR和sensitivity。
有三个比较常用的权重函数W，如下图，蓝色曲线是DM（由Debevec和Malik提出），黄色曲线的由Robertson提出，红色曲线是由Mitsunaga和Nayar提出。
DM与R曲线都是中心权重，这样融合结果比较不容易出现错误，稳定可靠。MN曲线可以得到最大的SNR和sensitivity，但是会出现不稳定的情况。（工业界的做法比这三种权重函数要简化：Maver注）。
曝光帧数Ne是如何决定的？
决定Ne的有四个因素：场景动态范围，场景的亮度，sensor pixel的动态范围，pixel的noise profile，图像质量的倾向。
每个曝光得到的图像都表示采集一定的场景动态范围，假设单曝光图像为12bit raw图，它可以覆盖的动态范围是70dB，那么对于一个DR为120dB的场景，至少要3帧图像，曝光比为16，融合后才能达到120dB。
早期按照固定曝光比产生exposure stack的方法实现比较简单，但是并不能达到好的图像质量，根据场景实时计算曝光比与曝光帧数可以得到更好的效果。Stanford大学的Paper《Optimal Scheduling of Capture Times in a Multiple Capture Imaging System》提出以得到最大average SNR为目标的计算方法。Nvidia《Metering for Exposure Stacks》提出了一种以得到最大PSNR为目的的计算方法。
对于监控类的HDR ISP而言，大部分都是配合HDR sensor采用固定HDR帧数，曝光比实时计算产生以得到最佳的融合效果。
相机响应函数（CRF）
从HDR ISP的角度来说，获得的输入是raw图像，对于广义的图像处理而言，其处理对象经常是从相机拍摄到Jpeg图像，这些图像是经过Gamma，动态范围压缩这些非线性变换的，所以从Jpeg图像进行HDR image composition需要将图像做线性化处理，也就是要从Jpeg图反推出相机的non linear transform function ：f。
这样公式1-1 加入线性化反变换函数f，即如下公式1-2：
f-1 即inverse CRF。
求导f-1 有两种方法，Debevec&Maliksmethod，如图a，Mitsunaga & Nayars Method 如图b. 方法b可以用校准的方法或者更好的效果。
Matlab HDR toolbox 给出了RemoveCRF 函数，可以用方法a或者b 对exposure stack进行线性化处理。
图像去伪影（De-Ghost）
时域多帧HDR融合难免因为多帧图像内容的运动或者相机的移动产生Ghost。
相机的移动所产生的artefact会产生模糊的边缘，这种问题在HDR composition中叫Misalignment，如下图
图像内容的运动经过融合产生的伪影叫Ghost，如下图
Tursun 发表了一篇《THE STATE OF THE ART IN HDR DEGHOSTING AND AN OBJECTIVE HDR IMAGE DEGHOSTING QUALITY METRIC》论文，整理了homography alignment through feature detections, optical flow methods, patch synthesis-based methods, Markov random field-based approaches, 等方法。在这些方法中patch synthesis-based methods是最好的。
对于伪影比较敏感的应用，比如车载自动驾驶，机器视觉等应用，现在更多的采用sub/split pixel技术的HDR sensor，这类sensor采用空间多sensitivity HDR，完全没有时域多帧的motion artefact。(详情请看HDR imaging（3）–sub ／split pixel HDR技术）
Image composition的流程：
如下图：
先把多曝光LDR（Low Dynamic Range)图像align,进行运动（motion）检测（有的叫ghost detection），没有运动的图像成分直接进入下边的分支：进行HDR composition，有运动的图像成分进行配准逻辑，根据一定的运动处理逻辑进行HDR composition，运动处理逻辑涉及根据硬件的成本，对于一般的ISP而言，往往会比较简化。最后把有运动和没有运动的部分assemble成为HDR image输出。
本文涉及到的论文已上传到大话成像技术论坛www.dahuachengxiang.com。
《大话成像》淘宝网店二维码，淘宝扫码直接进入
转载：全栈芯片工程师
