高动态范围视频.docx

高动态范围视频Sing Bing KangMatthew UyttendaeleSimon WinderRichard SzeliskiInteractive Visual Media Group, Microsoft Research, Redmond, WA图1：驾驶场景的高动态范围视频。第一行：输入短视和长视交替视频。底行：高动态范围视频（色调贴图）。.摘要使用现成的摄像机拍摄的典型视频素材动态范围有限。本文介绍了我们根据捕获的动态场景的图像序列生成高动态范围（HDR）视频同时快速改变每帧的曝光度的方法。我们的方法由三部分组成：捕捉时的自动曝光控制，相邻帧之间的HDR拼接以及查看色调映射。HDR拼接需要准确地记录相邻帧并选择合适的像素来计算辐射图。我们展示了各种动态场景的例子。我们还展示了如何从一系列括起来的静态照片中创建HDR时补偿场景和相机移动。CR分类：I.3.3 [电脑图像]：图片/图像生成 - 显示算法; I.4.1 [图像处理和计算机视觉]：增强 - 数字化和图像捕获。关键词：图像处理，视频处理，高动态范围，色调映射。1介绍真实世界的亮度变化比现在大多数摄像机可用的传感器大得多。单个场景的光芒可能包含从阴影到全亮区域四个数量级。典型的CCD或CMOS传感器仅捕获大约256-1024个水平。（伽马曲线中的非线性水平分配可以稍微改善这一点。）近年来，相机的动态范围有限，激发了许多解决方案。获得完整辐射图的一种方法是在不同的曝光下拍摄多张图像，并将这些图像结合起来以创建场景的高动态范围（HDR）地图[Mann and Picard 1995; Debevec和Malik 1997; Mitsunaga和Nayar 1999; Tsin等人2001;曼恩等人。 2002]。由于这些技术需要多个输入图像，所以由于场景中的动态元素或移动（即手持）相机，输入之间存在运动的可能性。Mitsunaga和Nayar [1999]通过拟合输入的全局运动模型来解决这个问题。曼恩等人。 [2002]使用单应性注册不同曝光的帧，这可以补偿较大的相机旋转。Bogoni [2000]使用仿射运动，然后根据每像素流来记录不同的曝光，但没有给出帧配准的细节。在相关的方法中，Uyttendaele等人[2001]使用基于块的曝光调整技术去除图像马赛克中的曝光伪影。但是，他们不计算HDR图像。可以使用多个图像检测器，新型传感器（例如，National LM9628传感器，IMS芯片HDRC传感器，SiliconVision产品，SMaL相机，Pixim）或空间不同的像素曝光来重新移动在不同时间拍摄的图像。[Mit-sunaga和Nayar 2000]。然而，我们在本文中的重点是使用广泛可用的常规（低动态范围）图像传感器和摄像机可以实现什么。Capture withExtractautomaticRegisterradianceTonemapvaryingmapexposuresHDR stitch图2：制作HDR视频的处理阶段。一旦计算出高动态范围的图像，就可以将其渲染为显示。由于典型的显示器只能产生约两个数量级，因此必须在HDR图像上执行对比度降低。最近，一些研究人员探索了这种色调映射问题[Durand and Dorsey 2002; Fattal等人2002; Reinhard等人2002]。我们的工作解决了在展览之间存在运动的情况下使用多次曝光生成HDR地图的问题。这使我们能够生成HDR视频序列以及运动场景的HDR静态图像。将我们的方法应用于驾驶视频的结果可以在图1中看到。生成HDR视频包括自动确定捕捉期间的时间曝光包围，相邻图像之间的运动补偿信息以及观看的色调映射（Fig-ure2）。这产生具有与可变曝光输入序列相同的帧速率的HDR视频。要生成HDR静止图像，我们使用类似的HDR拼接技术。我们的视频采集解决方案不同于以前的工作，因为它采用了摄像头中自动增益机制的简单重新编程。这使我们能够使用目前可用的廉价和高分辨率传感器，这与新型传感器设计尚未广泛普及，并且可能因缺乏分辨率而不同。在第二部分中，我们提出了一种自动增益算法，智能地改变帧与帧之间的曝光量，以捕捉场景辐射图的不同部分。与空间变化的像素曝光方法[Mitsunaga and Nayar 2000]相比，我们的方法可以被看作是沿着时间而不是空间维度的子采样。采集过程之后是一个离线过程，运动补偿捕获的视频，并在每个帧时间估算完整的辐射图（第3节）。这种我们称之为HDR拼接的操作可以在图像之间建立密集的对应关系，以便在不同的曝光条件下合并像素。在组合像素中，我们引入运动补偿中间结果之间的一致性检查。这使得系统对流量估算中的误差更加粗暴。在我们可以查看HDR视频之前，必须先进行色调映射。在