统计机器学习幻灯片.pptVIP

近期的研究课题 中国科学院自动化研究所 重采样技术 损失函数 变量稀疏 变量稀疏：变量选择---特征选择 中国科学院自动化研究所 模式识别：减少计算量。特征选择 统计学：获得信息(相对预测),变量稀疏--变量选择 数据挖掘：描述数据(相对预测)。 当前任务：辨别自然模型的真实变量，过滤多余变量带来的噪音。 特征选择 vs. 变量稀疏 中国科学院自动化研究所 特征选择 Wrapper 变量稀疏 LASSO Filter LARS 对特定算法，优化中逐步删除不必要的变量。 通过逐步加入变量，完成优化。 LASSO 中国科学院自动化研究所 LASSO(Least Absolute Shrinkage and Selection Operator) [Tibshirini,1996]： ?=[?1,…,?1]p，考虑?T?j?c，将其作为线性约束，共2p个。使用最小二乘计算初始的?，使用一个迭代算法，直到???j?c。 求解L1约束下平方误差损失最小的问题。 所有与?j?0对应的变量，就是被选择的变量集合。 (1)在集群意义下，研究弱模型的作用。 (2)消除冗余特征，发现问题需要且仅需要的变量。 两者的区别仅在不同空间上，使用LASSO。 中国科学院自动化研究所 改变模式识别中“特征选择的目的是减少计算量”的动机，变为发现自然模型的真实变量，其根源是“数据涌现”，这是一个对科学更为本质的动机。 总 结 中国科学院自动化研究所 人工智能 决策树 模式分类 神经网络 排他 泛化 统计机器学习 统计学家+计算机科学家 高维数据的自然涌现 对统计学挑战性的问题 非线性高维数据 对计算机科学挑战性的问题 根据重采样的集群 根据问题的变量稀疏 根据问题的损失函数 分类? 相似 谢 谢 中国科学院自动化研究所 机器学习的研究 激动人心，危机四伏，不进则退 中国科学院自动化研究所 Machine Learning and Data Mining 2006 Machine Learning and Data Mining 2008 中国科学院自动化研究所 统计机器学习 王 珏 中国科学院自动化研究所 第11届中国机器学习会议 大连，2008，8 机器学习与人工智能 中国科学院自动化研究所 机器学习来源于人工智能。 著作：机器学习(Machine Learning) Tom Michell 描述：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Herbert Simon 机器学习 中国科学院自动化研究所 Vapnik在“机器学习”术语之前加了“统计”二字，变为“统计机器学习”。 由此 从Rosenblatt的感知机到人工神经网络划入了这个领域。 Duda Hart的模式分类(统计模式识别)划入这个领域。 统计学的算法文化划入了这个领域。 Quilan的决策树方法和Valiant的PAC划入这个领域。 “统计” 人工智能与统计机器学习 中国科学院自动化研究所 早期，不喜欢。M.Minsky的批评，感知机停滞。 Duda Hart的统计模式识别，统计机器学习与其一致。人工神经网络反对AI。 统计机器学习使用的AI成果： Valiant的PAC：这是当前统计机器学习的基础之一。 Quilan的决策树：这是统计机器学习最重要的算法之一。 统计机器学习已成为人工智能最主要的研究课题。 Vapnik在“泛化”旗帜下，批判了这种排他性。 统计机器学习 中国科学院自动化研究所 统计机器学习的理论框架 有限样本理论 统计建模的两种文化 近期的研究课题 Duda Hart 中国科学院自动化研究所 1973年，他们出版了至今有重要影响“Pattern classification and scene analysis”，2001年，在此基础上，删除了情境分析的内容，大量增加了统计建模的内容。 尽管2001年版的内容大大丰富了，无论在理论研究结果，方法的罗列，还是参考文献的收集，都可以称为一本研究者必备的手册，但是，其理论框架的识别也比1973版困难。 统计机器学习的统计框架 中国科学院自动化研究所 Duda Hart的模式分类理论框架=统计机器学习理论框架 Bayes决策论 后验概率：P(?j?x)=P(?i)p(xj??i)。样本数趋于无穷大。 判决规则：对所有?j，最大P(?j?x)就是x的类别。 目标：风险R(?i?x)=??(?i??j)P(?i?x)最小。?是损失函数。 函数g(x)=w0+?wtx，如果?wtx-w0，x属于?1。 问题变为在确定的损失函数(准则函数或目标函数)意义