双鱼眼摄像头视频拼接方法研究.pdfVIP

摘要 摘要 全景视觉作为虚拟现实的重要组成部分，越来越受到人们的关注和研究，已广泛应 用于监控、全景直播、地图应用、游戏视频等领域。其中全景拼接技术可以将多张图像 拼接成为一幅全景图，是获取全景图像的重要技术。鱼眼镜头是一种焦距极短、视域广 的超广角镜头，两个镜头就可以将整个空间捕获，结合图像拼接技术完成全景拼接。其 设备轻巧便捷，与传统获取全景图像的方式相比，更加简单高效，成本也更加可控。 本文基于双鱼眼镜头，提出了一种全景视频拼接方法。针对单帧图像进行拼接时， 用球面模型近似鱼眼图像的畸变，并用经纬法展开，寻找特征点并在划分的窗口内进行 匹配，使用双旋转矩阵在球面上完成对齐，最后，找到最佳缝合线，并使用融合算法完 成拼接。视频拼接在图像拼接的基础上进行，并针对帧间稳定性和视频实时性做了优化 处理。本文的主要研究内容和贡献如下： 1. 研究了图像预处理中的相关技术，包括图像暗角的补偿、畸变矫正，原始鱼眼 图像到球面模型的映射和展开，并提出了一种快速的色差矫正算法。 2. 研究了几种特征描述子，提出了一种针对狭长重叠区域的特征匹配算法，能够 高效完成特征匹配，并提出双旋转矩阵及其渐变算法，在球面上完成配准。 3. 将渐入渐出融合和多波段融合结合，提出了一种适用于鱼眼镜头的快速融合算 法，提升图像质量的同时，效率也有效提升，并提出了一种能够有效避开人脸的缝合线 算法，与融合算法相匹配。 4. 在图像拼接的基础上，设计并实验验证了视频拼接算法，着重提升帧间稳定性 和提升算法运行效率。 经实验验证，本文提出的算法能较好得完成视频拼接，在视频质量、帧间连续性、 高效性等方面有较好的表现。 关键词：双鱼眼镜头，图像拼接，全景视频，虚拟现实 I Abstract Abstract As an important part of virtual reality, panoramic vision has been paid more and more attention and research. It has been widely used in surveillance, panoramic live broadcast, map application, game video and other fields. The panoramic stitching technology can refer to multiple images as a single panorama, which is an important technology for acquiring panoramic images. Fisheye lens has a very short focal length and a wide field of view. Two fisheye lenses can capture the entire space and we can combine the images using the stitching technology. Compared with traditional camera equipment, dual-fisheye lens is simpler, and more cost-effective. A panoramic video stitching method is presented based on the dual-fisheye lens. When stitching a single frame image, the spherical model is used to approximate the distortion of the fisheye image, we expand the image according to the latitude and longitu