“互联网+”大学生创新创业大赛基于提起人脸融合信息的人脸补全系统.pptxVIP

风里希——基于提取人脸融合信息的人脸补全系统组别：本科生创意组负责人：万启慧联系方式：1273163981@第七届四川省国际“互联网+”大学生创新创业大赛 2人脸图像遮挡、模糊导致警方追逃工作困难传统补全算法普适性低且效率低现有的基于深度学习的方法效率低下、补全效果不自然刑事侦察中，犯罪分子在实施犯罪、逃犯进行藏匿时往往会带口罩、墨镜等遮挡物来使得公安难以获得完整的人脸图像，同时，视频监控获取的图像信息往往存在分辨率低、模糊不清难以辨认等问题导致警方追捕工作困难。逃亡在外的犯罪分子对社会造成严重威胁。010203传统补全方法只适用于缺失面积较小，或者缺失面积稍大但是图像冗余信息较多的情况，这些方法大多需要依赖自身图片信息或者数据库中的相似纹理或结构内容，并不能生成新的内容，而且匹配搜索效率较低。近年来，深度学习的方法应用于人脸补全，但现有的基于深度学习的方法效果并不理想，无法为刑事侦察提供有效的人脸补全效果。痛点分析 美国伊利诺伊大学提出的CA人脸补全方法，效率低下，仅适用于高分辨率图像。中山大学提出的PEN人脸补全方法，只对高分辨率图像有作用，对低分辨率图像的性能较差。日本早稻田大学提出的GLCIC人脸补全方法需要繁多的处理步骤来强制孔边界附近的颜色一致性。新加坡南洋科技大学提出的PIC人脸补全方法，效果不和谐、不自然。人脸识别技术在公司考勤、门禁安保、逃犯追踪等领域得到了广泛的应用。市场现状 效果展示image1lack2result3image1lack2result3图1：目标图像图2：缺失图像图3：补全图像 5公共安防犯罪嫌疑人或者恐怖分子往往会使用眼镜口罩等遮挡物遮住自己的脸部，并以此来躲避追踪跟监控。使用人脸修复技术把恐怖分子脸上的遮挡物通过重建算法去除并得到完整的人脸照片。民事诉讼民事案件中，视听材料证据被带上法庭。但是由拍摄技术和拍摄环境有限，许多图像不清楚，无法在法庭上使用。运用人脸补全技术对图像进行清晰处理可以使图像和视频材料更具说服力。法医鉴定在法医鉴定中，当被害人的尸体遭到了头部严重受损以至于无法确认身份，人脸图像补全模型就可以使用被害人的照片作为基础，扣除脸部中缺损的区域，保留脸部完整的区域，通过重建算法，恢复出完好的被害人脸部，识别出被害人的身份。产品领域 6使用简便在linux上面使用docker安装程序，将图片放到相册下面,重命名为1.jpg/2.jpg/3.jpg...运行人脸补全程序基于VAE使用基于VAE的主干，由两个编码器和三个解码器对损坏的人脸图像进行编码，具有较高的抗干扰性，稳健性和精确性。利用人脸检测的手段先从人脸中提取68个关键点。得到人脸结构信息，再做关键点融合，得到人脸的轮廓信息和内容信息。以此做先验，恢复人脸信息。使用two-stage的方式修复人脸第一个stage完成信息填充，第二个stage完成人脸细节修复。以生成具有逼真(自然)细节的高分辨率人脸图像。采用多种信息融合补全将人脸结构信息，内容信息和轮廓信息做融合的方式来完成人脸补全。能够对目标对象的内容、轮廓和结构信息实现真实的输出。三种技术方案同时运行修复人脸使用生成对抗网络，同时使用patch-discriminator、global-discriminator来修复人脸细节信息。项目优势 7项目成果1项发明专利5篇学术论文1项软件著作 8指导老师个人简介博士，副教授。2015年6月毕业于四川大学，获得计算机科学与技术专业博士学位。2015年7月任成都信息工程大学计算机学院教师。2017年作为访问学者于美国范德比特大学图像科学研究所（VUIIS）从事大脑纤维聚类分析研究。研究领域从事机器学习、智能算法和深度学习等。近期论文Xiaojie Li, Jiancheng Lv, and Zhang Yi. Outlier Detection using Structural Scores in a High-dimensional Space, IEEE Transactions on Cybernetics (JCR一区IF= 10.387), 2018. Xiaojie Li, Jiancheng Lv, and Zhang Yi. An Efficient Representation-based Method for Boundary Point and Outlier Detection, IEEE Transactions on Neural Networks and Learning Systems (TNNLS) (JCR 一区 IF= 11.68) 2016. Chaoyang Xia, Xiaojie Li（共同一作） , Xin Wang, Bin Kong, Yucheng Chen, You