国科大中科院 人工智能与机器学习 12-DL.pptVIP

* Unsupervised learning of representations is used to (pre-)train each layer. Unsupervised training of one layer at a time, on top of the previously trained ones. The representation learned at each level is the input for the next layer. Use supervised training to fine-tune all the layers (in addition to one or more additional layers that are dedicated to producing predictions). * * * * 人脸识别上的进步 Labeled Face in the Wild (LFW) 非限定条件下的人脸识别 数据来源于因特网 国外名人，Yahoo新闻 广为人知的测试模式 训练集：无限制 验证任务测试集 共6000图像对 * Huang G B, Ramesh M, Berg T, et al. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. Technical Report, University of Massachusetts, Amherst, 2007. 人脸识别上的进步 2014: DeepFace [1] (Facebook) 大数据：4K人，4.4M图像 * [1] Taigman Y, Yang M, Ranzato M A, et al. Deepface: Closing the gap to human-level performance in face verification. CVPR, 2014. [2] Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust. arXiv preprint, 2014. 人脸识别上的进步 香港中文大学DeepID2+ 在25个人脸Patch上分别训练CNN（4个卷积层，4个全连接层，4个verification损失信号和1个identification损失信号） 训练数据：10K人，202K名人图像 [Y. Sun, X. Wang, and X. Tang, CVPR14] 人脸识别上的进步 Google最新的FaceNet 深层网络（22层）+ 海量数据(800万人，2亿张图像） + Triplet Loss (不需要额外占用显存) [F. Schroff, D. Kalenichenko, and J. Philbin, CVPR15] 提纲 深度学习(DL)及其应用前沿 DL在CV领域应用的启示 关键算法介绍 BP算法 Auto-Encoder CNN CNN主要变种 关于DL的思考与讨论 * DL之前的视觉处理方法 分步处理背后的哲学 分而治之Divide and Conquer Knowledge-driven Hand-crafted feature I think it should be solved by methods like… * DL及其之后的视觉处理方法 * DL及其之后的视觉处理方法 学习到接近期望的底层、中层和高层特征 * DL之前的视觉处理方法 任务 人工设计F（部分学习F） 领域知识：分步处理 滤波器，局部特征(SIFT)，BoW，直方图，Max/Sum汇聚，判别分析，Kernel技巧，分段线性，流形学习，测度学习… * 类标签 (分类问题) 向量 (回归/估计) 预处理 特征设计 特征降维 分类/回归 DL时代的视觉处理方法 任务 人工设计F（部分学习F） End-to-end地学习F（全步骤学习） Representation learning Feature learning Nonlinear transform learning * 离散类标签 (分类问题) 连续向量 (回归/估计) Credit to Dr. Xiaogang Wang DL时代的视觉处理方法 * Collect data Preprocessing 1 Feature design Classifier Evaluation Preprocessing 2 … Collect data