多传感器图像视频融合.PDFVIP

多传感器图像/视频融合 项目联系人：张 强，联系电话 一、项目简介 随传感器技术不断发展，越来越多的不同类型的图像传感器（如可见光、红外图像传感 器）用于军事国防、医疗诊断、视频监控等领域中。如何有效利用各传感器获取的图像信息， 已成为当前多传感器信息处理领域所面临的、迫切需要解决的关键性技术问题。作为多传感 器信息融合领域重要分支，图像融合可以为上述多传感器图像信息处理提供有效的途径。本 项目围绕着多传感器图像/视频融合进行了深入研究，针对多传感器图像/视频融合中有关时 空配准及融合策略等关键技术，形成了一系列具有自主知识产权的创新性成果。 上述成果已申请国家发明专利 20项，其中新获授权专利12 项。在《IEEE Transactions on Image Processing》、《IEEE Transactions on Circuits and Systems for Video Technology》 《Information Fusion》、《Computer Vision and Image Understanding》、《红外与毫米波 学报》、《自动化学报》等国内外期刊发表相 SCI 检索 20 余篇，单篇最高 SCI 他引 165 次， 并入选2015 年ESI高被引论文。相应成果得到美国 IEEE 、OSA 以及SPIE Fellow Alan C. Bovik 教授、澳大利亚悉尼大学澳大利亚技术科学与工程院院士及IEEE Fellow 冯大淦教授、 英国伦敦帝国理工学院 IEEE Fellow Danilo P. Mandic 教授、清华大学工程院院士戴琼海教授 等国内外学者正面引用和评价。本项目成果可以应用于城市安防、医疗诊断、国防等领域， 能够产生很好的社会效益。 二、主要成果 1. 基于稀疏表示和空间上下文的多聚焦图像融合 由于光学镜头的景深有限，使得人们在摄影时很难获取一幅所有景物均聚焦清晰的图像。 解决该问题的有效方法之一是首先对同一场景拍摄多幅聚焦点不同的图像，然后将其融合为 一幅场景内所有景物均聚焦的图像。由于聚焦点的不同，多聚焦图像中具有不同的清晰区域 和模糊区域，多聚焦图像融合的目的就是选取各幅源图像中的清晰区域并将其组合成一幅图 像，同时避免虚假信息的引入。 本项目主要研究了基于稀疏表示的多聚焦图像融合。与已有的基于稀疏表示融合算法在 融合过程中单独考虑每一个图像块的信息不同，所提出的融合方法在对输入图像块进行稀疏 表示和融合过程中，不仅考虑单个图像块的特征信息，还考虑每一个图像块与其空间相邻图 像块特征之间的一致性信息，从而能够有效降低图像“块”效应，提高对配准误差的鲁棒性。 对应专利号：201810086733.X 图 1. 两幅多聚焦图像融合. (a),(b)分别为聚焦在左边和右边的输入图像；(c)，(d)分别为理想的和本项目得到 的聚焦图；白色区域表示来自（a ）图，黑色区域表示来自(b)图，灰色区域表示过渡区域；(e)融合图像. 图 2. 三幅多聚焦图像融合. (a)-(c)分别聚焦在前景、中间和背景区域的多聚焦图像；(d)-(f)为(a)-(c)对应 的决策图，图中表示白色区域分别表示(a)-(c)中的聚焦区域；灰度区域表示过渡区域；(g)融合图像. 2. 基于相似度测量和 SCDPT 幅相联合信息的多模态图像融合 由于成像机理不同，多模态图像（如红外与可见光图像）之间存在大量的“冗余”和“互补” 信息。传统的“模值取大”和“加权平均” 的融合策略不能够有效处理多模态图像之间的”冗余 “和”互补“信息。并且，目前基于多尺度复变换的图像融合算法中，主要利用了多尺度复变 换系数的幅值信息而忽略了相位信息。研究表明，相对于幅值信息，相位信息包含了更多 的图像信息。 本项目突破多模态图像之间“冗余”与“互补”信息表征与提取关键技术，发明了一种 基于“相似度”测量和幅相联合信息的多模态图像融合技术。该发明技术采用复方向塔式变换