基于深度学习的图像识别.pptVIP

拍照写诗–百度 iOS APP 拍照写诗–百度 iOS APP 拍照写诗–百度 iOS APP 拍照写诗–百度 iOS APP 拍照写诗–百度 iOS APP 少女杀手证 全民大穿越 基于深度学习的人脸关键点定位技术 百度图像分割竞赛 ?? 参赛队伍的前五名获奖，其中第一名获 得5万元 ?? 如果第一名用深度学习方法，而且准确 率超过一个预设值，额外奖励20万 ?? 10月18日揭晓 百度图像分割竞赛 ?? 前五名中，只有一支队伍用深度学习， 而且拿了第一 ?? 而且， 大幅度超过第2-5名！ 法 所用方 Our Architecture 56 56 5 5 Slide credit: Alex Krizhevsky et al. ?? 多尺度卷积神经网络，像素二分类 The winning team Zifeng Wu, Yongzhen Huang, Weiqiang Ren, Yan Li Advisers: Kaiqi Huang, Liang Wang Center for Research on Intelligent Perception and Computing (CRIPAC) National Laboratory of Pattern Recognition (NLPR) Institute of Automation, Chinese Academic of Sciences (CASIA) 祝贺谭铁牛老师团队中的黄凯奇老师，王亮老师，和同学们！ 5.思考，总结，展望 最重要的几个方面 大数据 + 计算能力 + 模型算法 + 应用创新 百度的典型训练样本规模 ?? 图像识别: 数千万训练样本 ?? OCR: 数千万训练样本 ?? ?? ?? 10/25/13 语音识别： 数百亿训练样本 广告: 千亿训练样本 … 我们预计训练数据每年增长10倍 … 76 ?? ?? 1.5公斤,占2%的体重,却消耗20%身体的能量. 大脑有1000亿神经元 ?? ?? ?? 每个神经元有大约5000个神经突触 没个神经元的firing rate: 200次每秒 每秒计算能力: –? 10^11*5000*200 = 10^17 = 100 petaflops –? 20 W, 5petaflops/w ?? 目前最快的计算机(天河二号） –? 33.86 petaflops –? 18*10^6 w, 2.14Gflops/w 77 人类大脑的计算能力 Slides by Wei Xu DeepArchitecture in the Brain Area V1 Retina Area V4 Area V2 Edge detectors pixels Higher level visual abstractions Primitive shape detectors 百度PADDLE平台:多机并行训练架构 ?? 数据分布到不同的机器，通过Parameter Server协调各机器进行训练 ?? 多机训练使得大数据的模型训练成为可能 10U! 异构计算 Peak G?ops of Current HC Chips ! Intel i7-3630qm IvyBridge CPU only – 76.8 g?ops! Dense Servers! ?? 64 Haswell:~64T?ops! ?? 256 SnapDragon 800:~32 T?ops! ?? 40U rack:256T?ops,or 128T?ops! ?? Compare to! ?? Current state-of-the-art GPU system:40T?ops per 7U! ?? 42U:240T?ops! Heterogeneous Architecture + OpenCL 研究多种训练算法和模式 ?? ?? ?? ?? 单GPU 多GPU：Asynchronized SGD，Synchronized SGD CPU：训练大规模模型 分布式多机训练：异步SGD， Batch training (LBFGS) 总结和展望 ?? 深度学习将引领图像识别在今后若干年的发展 ?? New Paradigm: 大数据驱动+复杂机器学习模型 ?? 深度学习的关键技术在以下领域需要持续突破： -? 大规模海量数据并行训练平台