深度学习与计算机视觉实战 第4章 基于FaceNet人脸识别实战.pptxVIP

基于FaceNet人脸识别实战;;背景与目标;人脸识别的实际应用（1 vs 1） 用户身份认证：各类网站、APP中用户可采用人脸识别方式登录 电子护照及通行证：通过时的自助过关通道，通过扫描证件信息和人脸识别即可完成身份查验 财产安全：银行账号登录、转账、汇款、支付均可采用人脸识别完成;人脸识别的实际应用（1 vs N） 公安、司法和刑侦：采用人脸识别系统，与城市电子监控系统相结合，构建全国范围的“天网”系统 门禁系统：企业的人员出入管理、考勤管理中可采用人脸识别系统;背景与目标;目标分析;目标分析;人脸识别的发展历程：基于几何的方法 基于人脸的几何结构特征，通过面部的特征、相对位置和特征之间的距离构成人脸识别的特征向量，然后通过特征向量之间的匹配完成人脸识别。;人脸识别的发展历程：基于整体的方法 将人脸图像通过算法投影到低维空间，主要采用的算法有PCA（特征脸）、LDA（Fisher脸）、SVM、LPP （拉普拉斯脸）、SRC和联合贝叶斯。;人脸识别的发展历程：基于特征的方法 在人脸图像上不同位置提取局部特征向量或局部特征描述，通过计算特征向量之间的距离来衡量图像之间的相似度，主要的算法有LEMs、EBGM、FBG、HOG和SIFT等;人脸识别的发展历程：深度学习方法 卷积神经网络（CNN）是深度学习应用在人脸识别上最常用技术，从大量的数据中训练并学习人脸特征，对人脸图像的光照、姿态和表情等具有良好鲁棒性。;人脸识别的发展历程：深度学习方法 主要的框架和方法有Facebook的DeepFace、港中大的DeepID、Google的FaceNet等，其中Google的FaceNet探索了VGG和GoogleNet两种网络框架。 本案例使用的人脸特征提取方法即为FaceNet网络;讲解演示环境 Python 3.8.x PyCharm Community Edition 2021 TensorFlow 2.6.0;;人脸检测方法 将图像大小对齐后使用MTCNN检测和定位图像中的人脸区域，然后截取人脸区域;人脸检测;MTCNN网络（Multi-task convolutional neural network：多任务卷积神经网络） MTCNN 是中国科学院深圳先进技术研究院张凯鹏等人提出的一种非常有效的人脸检测与对齐的网络，不同于 Faster RCNN系列对目标的检测，该网络专门为人脸及关键点检测而设计。;人脸检测;MTCNN工程实现 加载预训练好的网络权值 Pnet = create_Pnet(./weights/pnet.h5) Rnet = create_Rnet(./weights/rnet.h5) Onet = create_Onet(./weights/onet.h5);MTCNN工程实现 face_detector = fd.Face_Detection() rectangles = face_detector.detectFace(image);;分析人脸区域关键点位置，计算旋转角度并通过仿射变换矫正人脸姿态;人脸对齐;人脸对齐工程实现 import face_alignment as fa # 矩阵仿射变换：将人脸摆正 landmark = (np.reshape(rectangle[-10:], (5, 2)) - np.array([int(rectangle[0]), int(rectangle[1])])) / ( rectangle[3] - rectangle[1]) # 记下他们的landmark alignment_img, new_landmark = fa.Alignment(crop_img, landmark) # 执行仿射变换：对齐人脸;;人脸特征提取;人脸特征提取;人脸特征提取—FaceNet ?;人脸特征提取—FaceNet FaceNet卷积神经网络：网络结构通过精心设计，实现在增加网络深度的同时还能保持计算预算的不变;人脸特征提取—FaceNet FaceNet训练特点：一次性放入三张人脸图像进入FaceNet 锚点（Anchor）样本A 与A同类的正样本Ｐ（Positive） 与A不同类的负样本Ｎ（Negative） 训练目标：样本A与样本P经过网络后得到的特征向量尽可能相似，而样本A与样本N的则尽可能相异;人脸特征提取—Triplet Loss ?;人脸识别算法性能指标 误识率（False Accept Rate，FAR）：比较不同人的图像时，将图像对判断为同一个人图像的比例。误识率越小越好。 拒识率（False Reject Rate，FRR）：比较同一个人的图像时，将图像对判断为不同人图像的比例。拒识率越小越好。 准确率（Accuracy）：比较图像时，判断正确的图