面向目标的图像超分辨率重建方法.docxVIP

面向目标的图像超分辨率重建方法 实际交通监控系统通常只能获得低分异度的图像，这些图像有时不能满足监控应用程序后的处理要求（如车牌识别等）。因此，从低质量和低分异度观测图像重建高分辨率的车牌图像，即车牌图像的超分辨率重建具有重要意义。 文献对图像超分辨率早期的相关工作给出较好的综述.从对输入观测图像的数量需求上说, 传统的图像超分辨率算法大概分为2类. 一类是需要获取同一目标的多幅观测图像, 即多源图像超分辨率.多源图像超分辨率的整个流程包括数据校准、图像配准、数据融合、反卷积等步骤.这类方法通过挖掘多幅图像的互补信息, 重建高分辨率图像.Tsai和Huang认为, 空域平移等价于频域相移, 在频率域组合多幅图像, 进行超分辨率重建.这类方法的优点是理论上不需要过多的先验知识, 只要有多个观测图像即可进行超分辨率, 其缺点在于难以解决图像配准的难题, 且需要多幅观测图像, 限制了算法的应用范围.这类方法不适合用于车牌图像超分辨率重建. 另外一类超分辨率算法是根据先验知识, 建立高分辨率图像与低分辨率图像的对应关系, 从而实现从单幅图像进行超分辨率, 即单源图像超分辨率.由于只需要一幅输入图像, 单源图像超分辨率拥有更广阔的应用范围.这类方法的关键在于建立高低分辨率图像的对应关系.一部分工作是基于模型的重建, 通过显式地建立图像下采样模型, 并将先验知识作为约束条件使问题正则化.例如赵书斌等用小波域隐马尔科夫树 (HMT) 进行重建、Stark和Oskoui的投影到凸集 (POCS) 的方法等.基于模型的方法需要对降晰模型进行充分的描述, 车牌图像的降晰模型十分复杂, 包括传感器件自身的降晰.散焦降晰和移动降晰, 这类方法并不适用于车牌图像的超分辨率重建.另一部分工作是近年来受到广泛关注的基于学习的单源图像超分辨率方法, 如Freeman等使用统计学习的重建方法, Yang等利用图像片的稀疏编码进行重建, Kim等使用稀疏回归重建高分辨率图像, Glasner等使用基于样例的方法进行重建.与基于模型的方法相比, 基于学习的方法更多地关注图像的内容和纹理结构, 能够更充分地建立高低分辨率图像片的对应关系, 因而能获得更好的结果.这种方法通常要求训练图像和测试图像具有较好的一致性.在实际生活中, 车牌图像通常具有统一规格, 可以选择大量车牌图像作为训练库, 确保训练图像与实际应用中的图像具有较好的一致性, 所以, 基于学习的单源图像超分辨率重建适用于车牌图像超分辨率. 上述超分辨率算法是针对整幅图像进行重建, 实际应用中, 图像背景中的很多细节对后续目标识别任务是无关紧要的, 通过大量复杂的计算重建整幅图像仅仅是增强了图像的视觉效果, 并无必要.事实上, 通过综合颜色、纹理等信息, 现实世界中车牌目标可以在较低分辨率的图像中成功检测.文献通过实验证明, 超分辨率对于目标检测性能提升十分有限, 在提高检测率的同时容易造成虚警.因此, 可以先检测目标, 然后针对目标图像进行超分辨率, 从而更好地恢复目标图像的细节信息.相对于传统的先重建再检测, 这种思路更符合人类的视觉认知规律.人类的视觉注意机制可以保证快速的检测和定位目标, 然后通过有意识的眼动, 将视网膜窝区对准目标, 进行超分辨率成像.研究者们发现, 人类的视觉系统中存在稀疏编码机制. 基于以上思路, 本文提出面向目标的车牌图像超分辨率算法.该算法的核心思想是, 在车牌检测之后, 只对图像中的车牌区域 (即检测时确定的包含车牌号码的图像区域) 进行超分辨率重建.这样不仅可以减少计算量, 而且可以针对目标建立字典, 字典中的码字将更接近车牌图像片的纹理结构, 从而使目标区域图像片更容易恢复.在特征提取阶段, 本文加入了邻接特征, 可以对低分辨率图像片进行更充分的描述.实验证明, 使用本文方法训练生产的目标字典拥有与车牌图像片更接近的纹理结构, 可以更有效地重建目标.此外, 传统工作在验证超分辨率重建有效性时, 仅比较视觉效果和PSNR等指标, 本文验证了超分辨率重建可以改善车牌识别结果. 本文第1节简要介绍重建算法需要用到的压缩感知理论;第2节介绍面向目标的图像超分辨率算法的字典训练和图像重建过程;第3节给出实验结果并进行分析和讨论;最后总结全文. 1 ue06cd.变通性能 压缩感知 (compressed sensing) 是近年来发展起来的一种有效的信号重建方法, 该方法可以通过少量观测值恢复大数据量的稀疏信号.本文的超分辨率重建算法以该方法为基础. 假设信号x为K稀疏的, 即只有K个非零元, 那么对于 其中, y为x的观测结果, Φ∈Rm×N为一个投影矩阵, mue04dN.由于mue04dN, 即观测y的维数远小于数据x的维数, 相当于x从N维空间向m维空间的投影.从传统