基于时空域约束的深度图像修复及提取算法研究-通信与信息系统专业论文.docxVIP

基于时空域约束的深度图像修复及提取算法研究摘要3D视频节目处理打破了传统的二维视频的概念，该技术通过同时传输左右两路视频，在终端，用户通过佩戴3D眼镜观看，使得左右两幅图像可以在人脑中融合，从而形成立体视觉，使得人们能够真正欣赏到沉浸感极强的三维视频。深度图像的获取是计算机视觉领域的一个基础课题，其由于包含了场景中丰富的立体结构信息，被广泛的应用于虚拟视点绘制(SynthesizedViewRendering)、物体识别(ObjectRecognition)，场景三维重建（3DReconsturction）等领域。在这些应用中，深度图像便显得至关重要，深度图像的质量将会直接决定任务的成功与否。本文研究内容包括主动式设备获取（ActiveDepthSenseing）的深度图像中噪声的分析及修复，以及三视点图像序列的被动视差估计（PassiveDisparityAcquiring）算法两种情况。主动式的深度图像获取技术已经比较成熟，如采用MicrosoftKinect深度摄像机进行拍摄，利用配套的MSKinectSDK获取其深度数据。论文针对Kinect所获深度图像中存在的孔洞问题，通过研究国内外研究者对于Kinect深度孔洞的修复方法的优势与不足，提出了一种基于平面拟合和区域一致性测度（RegionConsistencyMetric）的深度图像修复方案。该方案通过将具有相似颜色信息像素分割为同一平面，并将其拟合为空间中的3D平面，来对丢失信息的像素进行信息填补；在此基础上，本文通过在传统的联合双边滤波器中加入了区域一致性测度项，能够有效地填补深度图像中的剩余孔洞，并能够较好地恢复出深度图像细节。最后，文章通过实验证明，在填补由主动式设备获取的深度图像中存在的孔洞时，本文算具有较好地的应用效果。对于被动视差估计算法，论文提出了一种基于马尔科夫随机场（MarkovRandomField,MRF）上全局能量优化框架下的三视点视差序列提取算法。在本文算法中，明确地提出了遮挡信息及时空域约束，并将其加入匹配函数中，作为软性约束在一个迭代的框架内进行优化。视差图像通过AD-Census匹配代价以及置信传播算法进行初始化，随后，利用基于多参数Meanshift平面分割的平面融合技术进行平面约束。进一步地，本文考虑了三视点视差图像应满足的空间域一致性要求来进行结果优化。为了使我们的算法更加有效，我们将其实现在一个迭代框架内，进行遮挡区域和视差图像的迭代更新；对于时域约束，算法利用光流法寻找到相邻帧之间的匹配点，然后将其视差变化作为约束加入了我们的能量函数中。最后，我们利用亚像素估计算法得到最终的视差图像序列。本文所提算法将低纹理区域、遮挡区域、时空域约束等进行统一考虑，并加入到了一个统一的迭代更新框架内，提高了实验结果全局寻优的能力。实验结果表明，本文算法能够获取在时空域上准确而连续的视差序列，并且保持清晰、锐利的视差边缘。通过在Middlebury数据库上进行实验，证明了本文算法提取视差图像具有较高的准确性。在时域约束方面，通过利用本文算法所提出的时域约束对视差图像序列进行优化，并利用优化后的视差图像序列渲染出虚拟视点，通过与真实视点进行比较，量化地证明了本文视差序列的准确性。关键词：Kinect深度图像修复，三视点立体匹配，时空域约束，马尔科夫随机场，置信传播算法AResearchonDepthRestorationandRecoveringBasedonSpatio-temporalConsistencyABSTRACTAsthefastdevelopmentofinformationtechnologyanddigitaltelevisionindustry,ChinawillsoonembracethedigitalTVerabystoppingbroadcastingtheanologsignalnationwide.The3DTVera,whichisconsideredasthenextgenerationofTVsystem,hasbeendeemedtocometorealityasdigitalTV,whichisonlyamatteroftime.3DTVprogrambreakstheconceptoftraditional2DTVbytransmittingtwoviewssimultaneously.Bytheterminalpart,userscangetamorerealisticandstronglivefeeling,bywearing3Dglassestofacilitatethefusionofthetwoviewsintheirhead,whichgreatlyincreasespeoples’svi