多线索非参数化融合的单目视频深度估计-东南大学学报.PDFVIP

第４５卷第５期 东南大学学报（自然科 学版 ） Ｖｏｌ．４５ Ｎｏ．５ 　 ２０１５年９月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｓｅｐｔ．２０１５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－０５０５．２０１５．０５．００４ 多线索非参数化融合的单目视频深度估计 １ １ １ １ １ ２ 刘天亮　 莫一鸣　 徐高帮　 戴修斌　 朱秀昌　 罗杰波 １ （南京邮电大学江苏省图像处理与图像通信重点实验室，南京２１０００３） ２ （罗彻斯特大学计算机科学系，美国罗彻斯特 １４６２７） 摘要：为解决二维视频的三维转化问题，提出了一种基于非参数化学习和多线索融合的单目视 频深度图提取方法．首先，利用单目图像的区域边界轮廓和几何透视结构线索，基于前景背景融 合来估计单目视频中各帧的深度图像；然后，利用视频帧间空时相关性，借助非参数学习实现单 目视频深度估计；最后，利用全局背景深度分段约束和去抖动来增强深度视频序列．实验结果表 明，与其他现有方法相比，该方法能得到更为准确的单目视频深度图序列，无论在主观质量还是 均方根误差（ＲＭＳ）和结构相似性度量（ＳＳＩＭ）上，均能取得较好的效果． 关键词：深度图；非参数化融合；多线索；线性透视；空时相关 中图分类号：ＴＰ３９１　　文献标志码：Ａ　　文章编号：１００１－０５０５（２０１５）０５０８３４０６ Ｄｅｐｔｈｅｓｔｉｍａｔｉｏｎｏｆｍｏｎｏｃｕｌａｒｖｉｄｅｏ ｕｓｉｎｇｎｏｎｐａｒａｍｅｔｒｉｃｆｕｓｉｏｎｏｆｍｕｌｔｉｐｌｅｃｕｅｓ １ １ １ １ １ ２ ＬｉｕＴｉａｎｌｉａｎｇ　 ＭｏＹｉｍｉｎｇ　 ＸｕＧａｏｂａｎｇ　 ＤａｉＸｉｕｂｉｎ　 ＺｈｕＸｉｕｃｈａｎｇ　 ＬｕｏＪｉｅｂｏ １ （ＪｉａｎｇｓｕＰｒｏｖｉｎｃｉａｌＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｍａｇｅＰｒｏｃｅｓｓｉｎｇａｎｄＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｎａｎｊｉｎｇ２１０００３，Ｃｈｉｎａ） ２ （ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＵｎｉｖｅｒｓｉｔｙｏｆＲｏｃｈｅｓｔｅｒ，Ｒｏｃｈｅｓｔｅｒ１４６２７，ＵＳＡ） Ａｂｓｔｒａｃｔ：Ａｄｅｐｔｈｅｓｔｉｍａｔｉｏｎｔｅｃｈｎｉｑｕｅｆｏｒｍｏｎｏｃｕｌａｒｖｉｄｅｏｂａｓｅｄｏｎｎｏｎｐａｒａｍｅｔｒｉｃｌｅａｒｎｉｎｇａｎｄ ｆｕｓｉｏｎｏｆｍｕｌｔｉｐｌｅｃｕｅｓｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｅｃｏｎｖｅｒｓｉｏｎｆｒｏｍｔｗｏｄｉｍｅｎｓｉｏｎａｌ（２Ｄ）ｖｉｄｅｏｔｏ ｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌ（３Ｄ）．Ｆｉｒｓｔ，ａｃｃｏｒｄｉｎｇｔｏｔｈｅｒｅｇｉｏｎａｌｂｏｕｎｄａｒｙｃｏｎｔｏｕｒｓａｎｄｇｅｏｍｅｔｒｉｃｐｅｒｓｐｅｃ ｔｉｖｅｓｔｒｕｃｔｕｒｅｓｃｕｅｓｏｆｔｈｅｍｏｎｏｃｕｌａｒｉｍａｇｅ，ｔｈｅｄｅｐｔｈｍａｐｏｆｅａｃｈｆｒａｍｅｏｆｔｈｅｍｏｎｏｃｕｌａｒｖｉｄｅｏｉｓ ｅｓｔｉｍａｔｅｄｂｙｆｕｓｉｎｇｔｈｅｒｅｌａｔｅｄｆｏｒｅｇｒｏｕｎｄｍａｐａｎｄｔｈｅｂａｃｋｇｒｏｕｎｄｍａｐ．Ｔｈｅｎ，ｔｈｅｄｅｐｔｈｍａｐｓｅ ｑｕｅｎｃｅｏｆｔｈｅｍｏｎｏｃｕｌａｒｖｉｄｅｏｉｓｅｓｔｉｍａｔｅｄｉｎａｎｏｎｐａｒａｍｅｔｒｉｃｌｅａｒｎｉｎｇｆ