360度虚拟视点视频生成技术研究.pdf

摘要 摘要 虚拟视点视频合成技术是根据一系列相机拍摄到的同一时刻下的某三维场景的多 视点视频，合成出新视点下的视频的技术，是虚拟现实、多媒体技术领域关注的热点问 题。360度虚拟视点视频生成技术融合了全景技术带来的沉浸感和虚拟视点合成技术带 来的交互感，使用户可以沉浸式地观察场景的情况。由于柱面全景应用范围广，易获取， 易处理等优势，本文旨在研究柱面全景图这一表示形式下的360度虚拟视点视频合成技 术，对基于光流的虚拟视点合成方法、分区域的虚拟视点优化、基于直线匹配的纹理优 化、基于MaskR-CNN 的目标优化等问题进行了研究。主要创新点如下： 1. 提出了分区域的基于光流的360度虚拟视点生成算法。不需要任何相机参数和 其他的场景几何信息，只根据两视点视频即可生成虚拟视点视频，大大降低了 解决该问题的成本。将光流金字塔和块匹配结合，在较大视差下仍然有较好的 效果。针对柱面全景的特点，提出分区域的虚拟视点合成，解决了柱面全景变 形太大的区域难以计算光流的问题。 2. 提出一种针对直线纹理区域的光流优化方法，解决了全搜素块匹配方法带来的 直线特性难以保持的问题。首先利用特征点匹配将参考视点切割成图像内容相 同的区域，再分别针对对应区域应用直线匹配技术，并根据直线匹配结果修正 邻域光流。该方法将直线及其周边区域光流进行修正，有效提高了直线纹理区 域的虚拟视点生成效果。 3. 结合图像语义特征提出针对虚拟视点主要目标的优化方法。针对虚拟视点中目 标形状扭曲或目标边缘和背景混合的问题，采用了Mask R-CNN 实例分割网络， 对图像中的主要目标进行分割，并加入光流计算过程中进行光流优化，进一步 提高了虚拟视点质量。 实验证明，本文提出的基于光流的360度虚拟视点视频生成方法在室内和室外场景 下能生成较好的虚拟视点视频。一方面，本文方法不需要相机和其他场景参数，只利用 了参考视点视频即可生成虚拟视点视频；另一方面，本文在柱面全景变形大的区域、直 线纹理区域和场景主要目标上进行优化，大大减少了光流计算错误的情况，在虚拟视点 视频生成效果上有很大提升。 关键词：虚拟视点合成，360度全景视频，光流，直线匹配，Mask R-CNN I 东南大学硕士学位论文 Abstract Virtual viewpoint video synthesis technology is a technology that synthesizes new viewpoint video ofthe 3D scenevideobased on referencevideoscaptured synchronously by a series of cameras. It is a hot issue in the field of virtual reality and multimedia technology. Virtual viewpoint video synthesis technology based on 360 °panorama combines the immersion brought by panorama technology and the interaction brought by virtual viewpoint synthesis technology, so that users can better observe the situation of the scene and bring immersion experience. Because cylindrical panorama has many advantages, such as wide application range, easy access and easy processing, the author aims to study 360°virtual viewpoi