统计机器学习简介.pptVIP

统计机器学习(Statistical Machine Learning) 卢志武 中国人民大学信息学院 什么是机器学习 “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。” “机器学习是对能通过经验自动改进的计算机算法的研究。” “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 2 什么是机器学习 总结： 人工智能的重要组成部分 利用经验数据改善系统自身性能 已广泛应用于多个领域; 大数据分析 网络搜索 金融市场预测 …… 3 为什么需要机器学习？ 美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展 Machine learning forms the core of may present-day AI applications Gary Anthes, Future Watch: AI comes of age, , 2009.1.26 4 为什么需要机器学习？ 2004年，机器学习被 MIT Technology Review 列入10 Emerging Technologies that will Change Your World 2010年度图灵奖授予机器学习理论创始人、哈佛大学Leslie Valiant教授 2011年度图灵奖授予概率图模型奠基者、加州大学洛杉矶分校Judea Pearl 教授 5 图灵奖连续两年颁发给机器学习先驱开创者 深度学习与机器学习 深度学习（deep learning）是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法，本质上是机器学习中特征学习方法的一类。 至今已有多种深度学习框架：深度神经网络，卷积神经网络，深度信念网络。 已被应用于多个领域：计算机视觉，语音识别，自然语言处理。 6 大数据与机器学习 机器学习几乎无处不在，即便我们没有专程调用它，也经常出现在大数据应用中。机器学习对大数据应用的贡献主要体现在： 促进数据科学家们的多产性 发现一些被忽视的方案 上述价值来自于机器学习的核心功能：让分析算法无需人类干预和显式程序即可对最新数据进行学习。这就允许数据科学家们根据典型数据集创建一个模型，然后利用算法自动概括和学习这些范例和新的数据源。 7 8 机器学习示例 9 Books and References 主要参考书 李航，《统计学习方法》，清华大学出版社，2012. 其他参考书 米歇尔著，曾华军等译，《机器学习》，机械工业出版社，2008 迪达等著，李宏东等译， 《模式分类》（第2版），机械工业出版社，2003 10 提 纲 机器学习方法概述 贝叶斯决策理论Bayesian Decision Theory 常见统计学习方法 机器学习的难题与挑战 附录： 1、参考资料 2、代表性机器学习开发包介绍 11 一、统计学习方法概述 12 机器学习的发展 机器学习= 神经科学与认知科学+数学+计算 James(19世纪末)： 神经元相互连接 McCulloch, Pitts(20世纪中期): “兴奋”和“抑制” Hebb(20世纪中期): 学习律 神经科学 有限样本统计理论 线性空间表示 Samuel：符号机器学习 机器学习研究历程 王珏,机器学习研究回顾与趋势,2004.9 学习系统的一般模型 Input Variables: Hidden Variables: Output Variables: 15 机器学习的基本问题和方法 机器学习 根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。 机器学习问题的表示 根据n个独立同分布观测样本确定预测函数f(x,w)。 在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使预测的期望风险最小。 Simon的学习模型 16 学习问题的一般表示 学习目标 Given an i.i.d. l-sample z1,…,zl drawn from a fixed distribution F(z) For a function class’ loss functions Q(z,), with  in  We wish to minimize the risk, finding a function * In the case of equal risk, it becomes to minimize the error ratio. 相关概念 损失函数 loss func