- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
全景视频拼接的关键技术分析 一、原理介绍 图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术,它将多幅图像拼接成一幅大尺度图像或360度全景图,图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面:摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接(融合),以及亮度与颜色的均衡处理等,以下对各个步骤进行分析。 摄相机标定 由于安装设计,以及摄相机之间的差异,会造成视频图像之间有缩放(镜头焦距不一致造成)、倾斜(垂直旋转)、方位角差异(水平旋转),因此物理的差异需要预先校准,得到一致性好的图像,便于后续图像拼接。 相机的运动方式与成像结果之间的关系。 相机的运动方式与成像结果之间的关系 图像坐标变换 在实际应用中,全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特性,相机的排列方式不尽相同,不能保证相机在同一面上,如柱面投影不一定在同一个柱面上,平面投影不一定在同一平面上;另外为了避免出现盲区,相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见,而且容易被忽略,直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面(或平面)之前,需要根据相机的位置信息和角度信息来获得坐标变换后的图像。 理论上只要满足静止三维图像或者平面场景的两个条件中的任何一个,两幅图像的对应关系就可以用投影变换矩阵表示,换句话说只要满足这其中任何一个条件,一个相机拍摄的图像可以通过坐标变换表示为另一个虚拟相机拍摄的图像。 一般情况下8参数的透视投影变换最适合描述图像之间的坐标关系,参数的矩阵为[m0,m1,m2;m3,m4,m5; m6,m7,1];各参数对应的相机运动表示如下: 显示的是相机向下倾斜一定角度拍摄图像,这个角度与m6和m7具有对应关系,如果要获得校正图像,只需要对8参数矩阵求逆后进行坐标变换。 (a) 原始图像 (a) 原始图像;(b)x方向形变效果;(c)倾斜校正后效果 图像畸变校正 ?由于制造、安装、工艺等原因,镜头存在着各种畸变。为了提高摄像机拼接的精度,在进行图像拼接的时候必须考虑成像镜头的畸变。一般畸变分为内部畸变和外部畸变,内部畸变是由于摄影本身的构造为起因的畸变,外部畸变为投影方式的几何因素起因的畸变。镜头畸变属于内部畸变,由镜头产生的畸变一般可分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差,主要是由于镜头的径向曲率不同而造成的,有桶形畸变和枕型畸变两种。切向畸变通常被人为是由于镜头透镜组的光学中心不共线引起的,包括有各种生成误差和装配误差等。一般人为,光学系统成像过程当中,径向畸变是导致图像畸变的主要因素。径向畸变导致图像内直线成弯曲的像,且越靠近边缘这种效果越明显。根据径向畸变产生的机理,对视频图像进行校正。效果如图3(b)所示,经过校正的图像,其有效像素区域缩小,一般可通过电子放大的方式进行校正,如图3(c)所示。 (a)为原始采集图像;(b)为经过径向失真校正的图像;(c)为经过放大的图像 ? 图像投影变换 由于每幅图像是相机在不同角度下拍摄得到的,所以他们并不在同一投影平面上,如果对重叠的图像直接进行无缝拼接,会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换,再进行拼接。一般有平面投影、柱面投影、立方体投影和球面投影等。 平面投影就是以序列图像中的一幅图像的坐标系为基准,将其图像都投影变换到这个基准坐标系中,使相邻图像的重叠区对齐,称由此形成的拼接为平面投影拼接;柱面投影是指采集到的图像数据重投影到一个以相机焦距为半径的柱面,在柱面上进行全景图的投影拼接;球面投影是模拟人眼观察的特性,将图像信息通过透视变换投影到眼球部分,构造成一个观察的球面;立方体投影是为了解决球面影射中存在的数据不宜存储的缺点,而发展出来的一种投影拼接方式,它适合于计算机生成图像,但对实景拍摄的图像则比较困难。如下图4所示,图像拼接处理流程示意图。 图像拼接处理流程示意图 匹配点选取与标定 由于特征点的方法较容易处理图像之间旋转、仿射、透视等变换关系,因而经常被使用,特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。Harris等提出了一种角点检测算法,该算法是公认的比较好的角点检测算法,具有刚性变换不变性,并在一定程度上具有仿射变换不变性,但该算法不具有缩放变换不变性。针对这样的缺点,Lowe提出了具有缩放不变性的SIFT特征点。 两幅图像中标定的匹配特征点 图像的拼接需要在图像序列中找到有效的特征匹配点。图像的特征点寻找直接影响图像拼接的精度和效率。对于图像序列,如果特征点个数≥4个,则很容易自动标定图像匹配点;如果特征点很少,图像拼接往往不能取得较为理想
您可能关注的文档
- 《通过神经系统调节》1.ppt
- 《误差分析及处理》第一章 绪论.ppt
- 《有机化学》第11章 (酚与醌).ppt
- 【步步高】(新课标)2014-2015学年高中物理 1.4 动量守恒定律应用(第1课时)课件 教科版选修3-5.ppt
- 1建模和空间结构.pptx
- 《走向高考》2013高考物理总复习 选3-5-2波粒二象性 原子结构及原子核 102张.ppt
- 【黄冈教研备课精品套装】人教版九年级化学上册_第一单元《走进化学世界》课题1_物质的变化与性质【课件】.ppt
- 【百年学典】2015高中生物(广东专用)学业水平测试配套课件:专题七 遗传分子基础.ppt
- Access,SQLServer和MySQL数据库数据恢复-天盾数据恢复中心.pptx
- 【步步高】2012高中物理大一轮复习 第十三章 第3课时 电磁场与电磁波讲义课件 大纲人教版.ppt
文档评论(0)