统计机器学习.pptVIP

国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 Machine Learning and Data Mining 2006 Machine Learning and Data Mining 2008 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 统计机器学习 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第一页，共三十六页，2022年，8月28日 机器学习与人工智能 机器学习来源于人工智能。 著作：机器学习(Machine Learning) Tom Michell 描述：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Herbert Simon 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第二页，共三十六页，2022年，8月28日 机器学习 Vapnik在“机器学习”术语之前加了“统计”二字，变为“统计机器学习”。 由此 从Rosenblatt的感知机到人工神经网络划入了这个领域。 Duda Hart的模式分类(统计模式识别)划入这个领域。 统计学的算法文化划入了这个领域。 Quilan的决策树方法和Valiant的PAC划入这个领域。 “统计” 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第三页，共三十六页，2022年，8月28日 人工智能与统计机器学习 早期，不喜欢。M.Minsky的批评，感知机停滞。 Duda Hart的统计模式识别，统计机器学习与其一致。人工神经网络反对AI。 统计机器学习使用的AI成果： Valiant的PAC：这是当前统计机器学习的基础之一。 Quilan的决策树：这是统计机器学习最重要的算法之一。 统计机器学习已成为人工智能最主要的研究课题。 Vapnik在“泛化”旗帜下，批判了这种排他性。 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第四页，共三十六页，2022年，8月28日 统计机器学习 统计机器学习的理论框架 有限样本理论 统计建模的两种文化 近期的研究课题 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第五页，共三十六页，2022年，8月28日 Duda Hart 1973年，他们出版了至今有重要影响“Pattern classification and scene analysis”，2001年，在此基础上，删除了情境分析的内容，大量增加了统计建模的内容。 尽管2001年版的内容大大丰富了，无论在理论研究结果，方法的罗列，还是参考文献的收集，都可以称为一本研究者必备的手册，但是，其理论框架的识别也比1973版困难。 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所 第六页，共三十六页，2022年，8月28日 统计机器学习的统计框架 Duda Hart的模式分类理论框架=统计机器学习理论框架 Bayes决策论 后验概率：P(?j?x)=P(?i)p(xj??i)。样本数趋于无穷大。 判决规则：对所有?j，最大P(?j?x)就是x的类别。 目标：风险R(?i?x)=??(?i??j)P(?i?x)最小。?是损失函数。 函数g(x)=w0+?wtx，如果?wtx-w0，x属于?1。 问题变为在确定的损失函数(准则函数或目标函数)意义的优化问题。线性感知机就是如此。损失函数是平方损失。 令gj(x)=P(?j?x), g(x)=gj(x)-gi(x)。判别为计算g(x)的参数。 国科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动化研究所科学院自动