暗夜成像1.docx

摘要——我们描述了一个新的在具有挑战性的照明条件下的获得实时图像增强的集成算法。这样的条件包括低照明、雾态和高动态范围的情况。该算法自动检测功能障碍的主导源，然后根据它是不是低照明，雾态或其他，一个相应的预处理被施加到所输入的视频上，其次是核心增强算法。视频输入的是空的冗余被用于促进实时处理和提高输出的时空一致性。该算法可以作为一个独立的模块，或者集成在一个视频编码器或视频解码器，用于进一步的优化。介绍视频监控设备和移动设备，例如数码照相机，手机，笔记本电脑越来越常见了，相机有望获取，记录，有时还能压缩和传输所有灯光和天气下的视频内容。然而多数相机不是专门为设计的通用的和防风雨的，致使录制视频在一些情况下无法关键应用。图像和视频的处理和增强包括伽马校正、去雾态、去模糊等与在研究领域提出多年的许多成功的算法。虽然不同的算法执行不同的照明功能，它们经常需要繁琐，有时需要手动输入依赖性的微调算法参数。此外,不同的特定类型的功能往往需要不同的具体算法。取低照明情况下视频的增强作为一个例子，为了缓解这个问题,远和近红外技术用于许多系统,同时,基于各种图像处理方法也被提出。虽然远和近红外系统用于检测物体如行人和动物在光线不足的情况下非常有用，特别是在“专业”视频监控系统中,他们有着共同的缺点,可检测对象必须有一个温度高于周围环境。在许多情况下,关键对象类似于其周围的温度,例如一个大洞,红外系统不是很有用。此外,红外系统通常更昂贵,难以维护,相对传统系统有较短的寿命。他们还引入额外的，并且功耗特别大。在许多消费者智能手机上例如视频采集和通信类的应用程序，由于成本和功耗等问题，部署红外系统通常情况下是不可行的。常规的低照明图像和视频处理增强算法例如【5】和【6】经常使用对比度增强技术来输入低照明视频降低工作噪声，如色调映射，要紧随其后直方图拉伸和均衡，在低照明图片和视频中用伽马校正恢复视觉信息。虽然这些算法能够在视频增强上达到很好的效果，但是他们对于实践实时应用程序，尤其是移动设备来说太复杂。举例来说，在【5】中即使是GPU加速，算法的处理速度也只有6fps，在【6】中恢复每个图像需要时间都会超过一分钟。在本文中，我们提出了一种新颖的适用于广泛的输入障碍的综合视频增强算法。它较低的算法和内存的复杂性都在许多手机的合理可用性范围内。在我们的系统中，一个低复杂自动模块首先确定输入视频主控源的损失，然后输入的是基于特定的障碍来源的预处理，其次是增强处理的核心模块，最后，应用处理后产生增强的输出。此外，时空相关性用来提高算法的速度和视觉质量的输出，使其能够被嵌入到视频编码器或解码器，以此可以在视频编码器中分享时间和空间预测模块，进一步降低复杂性。本文组织如下。在本文第二部分，我们提出了启发式证据来促进想法。在第3部分中我们详细解释了增强算法的核心。而在第四部分中，我们描述由于减少计算复杂性和内存的各种算法。第5部分包含实验结果。考虑到在实际应用中，视频增强模块可以部署在多个阶段的端到端出场。如压缩传输/存储之前，或传输/存储之后但是在压缩之前，或者说在压缩之后而在视频内容显示在监视器之前。我们在实验中不同实验步骤应用该算法检查相关复杂性和RD权衡。一种新颖的集成视频增强算法原始的例子(上),倒低照明视频/图片(中间)和霾视频/图像(底部)。观察我们的算法是一个关键的动机,如果我们执行pixel-wise(单像素)反转低照明视频或高动态范围视频,结果看上去很类似于朦胧的视频。作为一个说明性的例子,我们随机选择(谷歌)和捕获100图片和视频剪辑在阴霾,分别低照明和高动态范围的天气条件。一些例子是图1所示 (1)在这里,“反转”操作是简单的(x)和(x)在强度对应的颜色(RGB)通道的像素c分别输入和倒架。从图1中可以清楚地看到,至少在视觉上,这段视频在朦胧的天气相似的反向输出视频捕获在低照明和高动态范围的条件下。这是直观的,因为[7]中所示,在所有这些情况下,如模糊和低照明视频,视频被照相机的光线与空气光混合(环境光被大气中的颗粒进入视线反射)。唯一的区别是实际的空气光的亮度,白色的烟雾视频,黑色在低照明和高动态范围的情况下视频。观察证实了各种烟雾检测算法。我们实现了烟雾检测使用基于HVS阈值范围的方法[8],黑暗中对象减法(DOS)方法[9],[10],基于空间频率的技术,并发现朦胧,倒低照明视频和反向高动态范围都归类为朦胧的视频剪辑,视频而不是“正常”的片段。每个像素的直方图的最低强度的三个颜色通道的阴霾视频(上)、低照明视频(中)和高动态范围视频(底部)。我们还进行了卡方检验检查统计相似性朦胧的视频和倒低照明和高动态范围的视频。卡方检验是一个标准的统计工具广泛用于确定观测数据与一个特定的假设相一致。[11]解释,在卡方测试,计算一个值,通常,如果p