基于双目视觉的人脸三维重建-智能系统学报.PDF

第 13 卷第 4 期 智　能　系　统　学　报 Vol.13 No.4 2018 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2018 DOI: 10.11992/tis.201701020 网络出版地址: /kcms/detail/23.1538.TP1601.006.html 基于双目视觉的人脸三维重建 1,2,3 1,2,3 1,2,3 1,2,3 1,2,3 林琴 ，李卫军 ，董肖莉 ，宁欣 ，陈鹏 （1. 中国科学院半导体研究所 高速电路与神经网络实验室，北京 100083; 2. 中国科学院大学 电子学院，北京 100029; 3. 认知计算技术威富联合实验室，北京 100083 ） 摘 要：基于双目立体匹配算法PatchMatch 算法，提出了一种获取人脸三维点云的算法。该算法对局部立体匹 配算法PatchMatch 进行了优化。该方法既不需要昂贵的设备，也不需要通用的人脸三维模型，而是结合了人脸 的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸 图像，利用回归树集合(ensemble of regression trees，ERT) 算法对人脸图像进行关键点定位，恢复人脸稀疏的视 差估计，运用线性插值方法初步估计脸部的稠密视差值，并结合局部立体匹配算法对得到的视差结果进行平滑 处理，重建人脸的三维点云信息。实验结果表明，这种算法能够还原出光滑的稠密人脸三维点云信息，在人脸 Bosphorus 数据库上取得了更加准确的人脸重建结果。 关键词：人脸拓扑结构；立体匹配；线性插值；稠密视差 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2018)04−0534−09 中文引用格式：林琴, 李卫军, 董肖莉, 等. 基于双目视觉的人脸三维重建[J]. 智能系统学报, 2018, 13(4): 534–542. 英文引用格式：LIN Qin, LI Weijun, DONG Xiaoli, et al. Face reconstruction based on binocular stereo vision[J]. CAAI transac- tions on intelligent systems, 2018, 13(4): 534–542. Face reconstruction based on binocular stereo vision LIN Qin1,2,3，LI Weijun1,2,3，DONG Xiaoli1,2,3，NING Xin1,2,3，CHEN Peng1,2,3 (1. Laboratory of Artificial Neural Networks and High-peed Circuits, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China; 2. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China; 3. Cognit- ive Computing Technology Wei Fu Joint Lab, Beijing 100083, China) Abstract : In this paper, we propose a binocular stereo algorithm called PatchMatch for generating a 3D dense point cloud of the human face. The proposed algorit