大规模深度学习算法DBN及应用.pdf

大规模深度学习算法 DeepDeep BeliefBelief NetworkNetwork及其应用及其应用 刘 凯 (花名：拜阳) 共享业务事业部共享业务事业部-数据应用数据应用 2015-06-27 自我介绍 • 2006-2011年毕业于中科院自动化所，模式识别与智能系统 • 2011-2014年在IBM中国研究院任研究员，大数据挖掘与管 理理 • 加入阿里年加入阿里 ，从事分布式机器学习算法研发从事分布式机器学习算法研发 ，以及在以及在 阿里的各种业务场景推广应用 2 Outline • 为什么要用深度学习 • 分布式分布式DBNDBN架构和原理架构和原理 • 典型应用 -- 淘宝广告评论检测淘宝广告评论检测 -- 手淘天天特价个性化推荐 •• 总结与未来工作总结与未来工作 3 Outline • 为什么要用深度学习 • 分布式分布式DBNDBN架构和原理架构和原理 • 典型应用 -- 淘宝广告评论检测淘宝广告评论检测 -- 手淘天天特价个性化推荐 •• 总结与未来工作总结与未来工作 4 机器学习在互联网界的典型应用场景  为什么要机器学习 个性化推荐  为什么需要更好的机 器学习模型  为什么要分布式学习 广广告CTR pprediction  从从海量用户行为数据中学习用户的行为偏好海量用户行为数据中学习用户的行为偏好 ，为每个用户提供个性化的服务为每个用户提供个性化的服务 5  需要更精确的分布式机器学习模型高效学习含有丰富用户行为的大数据 深度学习模型具有更强的特征表示能力 • 线性模型：如果输入特征线性不可分，则精度较差(如逻辑回归) 6 深度学习：结构决定一切 7 Deep Belief Network(DBN)的优势 一般的DNN中，随着网络深度增加，在迭代中容易掉入到某个局部极小点而导致训 练失败  DBN: 多个RBM逐层堆积，逐层预训练所组成的多 层神经网络  DBN的优势：在BP有监督训练之前，对网络参数进 行无监督的预训练行无监督的预训练  预训练可将网络参数初始化到靠近某个较优的局部 极小点甚至全局最优点附近极小点甚至全局最优点附近 8 Outline • 为什么要用深度学习 • 分布式分布式DBNDBN架构和原理架构和原理 • 典型应用 -- 淘宝广告评论检测淘宝广告评论检测 -- 手淘天天特价个性化推荐 •• 总结与未来工作总结与未来工作 9 分布式DBN架构 10 迭代、参数更新模式 异步更新异步更新 • 采用异步随机梯度下降技术 • 每个worker之间不需要统一步调 slavesslaves  Master为存储网络参数的server进程 -- 每个server作为一个parameter server，管理着一层网络的参数 -- 它它与各个与各个workker进程通信以完成参数梯度的更新和进程通信以完成参数梯度的更新和网络最新参数的络最新参数的分发分发  Slave为模型训练的工作进