机器学习研究回顾-智能科学.ppt

机器学习研究回顾与趋势 王 珏 中国科学院自动化研究所 2004年9月，秦皇岛 机器学习的发展 至今， 机器学习= 神经科学与认知科学+数学+计算 希望，???。 符号机器学习 Solomonoff关于文法归纳的研究应该是最早的符号机器学习(1959)。 1967年Gold证明，这是不可能的实现的。 Samuel将学习限制在结构化数据，由此，学习演变为约简算法，这是现代符号机器学习的基础。 如果将每条规则理解为一个分类器，符号机器学习是Hebb路线的产物。 “机器学习”现状 神经科学与认知科学扮演先知者角色。 数学填充了神经科学和认知科学与计算之间的沟堑。 现状是：神经与认知的成果并没有多少被使用于计算。 机器学习的研究趋势 尽管“学习机制”还是研究的动力，然而， “烦恼网络”的危机，使得更为重要的推动力来自“有效利用”信息。 传统领域借用机器学习提高研究水平。 应用驱动的机器学习方法层出不穷。 基于机器学习的数据分析方法成为解决复杂问题的关键之一。 传统领域借用机器学习提高研究水平 文本与图像占信息的绝大数，近几年， 模式识别最引人注目的是机器学习在这个领域扮演日益重要的角色。 在文本分析与自然语言理解上，数据资源建设逐渐完善，关注的焦点是机器学习，文法归纳的方法已死灰复燃。 应用驱动的机器学习方法层出不穷 面临信息多种多样，复杂！ 流形机器学习：稀疏数据的非线性方法 (特征抽取)。 增强学习：对变化环境适应(机器人)。 多实例学习：半监督学习(药物设计)。 ranking学习：需求是事物排序的学习(搜索引擎)。 数据流学习：大量数据快速过滤(有害信息过滤)。 这些问题大多数没有坚实的理论基础，处于实验观察阶段。 基于机器学习的数据分析方法成为解决复杂问题的关键之一 由于大部分问题不能满足机器学习所需的条件，因此，需要考虑数据分析。 符号数据分析(数据挖掘)：关联规则，例外分析。 例外分析：Shapard and Nosofsky的认知研究+符号机器学习 机器学习存在的理论问题 统计类机器学习需要满足独立同分布条件，严厉！ 寻找问题线性表示的空间，没有一般的原则。 信息向符号的映射，没有好的方法。 机器学习没有一劳永逸的解决方案。 领域知识与数据分析不可避免。 AI的悲剧角色 当问题没有理论解决方案时，人们说，这是AI问题，让AI研究吧。 当问题在AI研究中已经解决，人们为了避免回答“这就是智能吗”之类的问题，说，这与AI无关(“深蓝”)。 不能解决的问题远远大于能够解决问题，因此，AI有存在的必要性。 特殊比普适更重要 在研究方法上，AI研究应该向非线性等领域学习，一类问题的深入研究比普适的研究更重要。 例如，本体方法，一个领域本体的深入研究比广泛地构造本体更重要。 AI进展需要依赖其它学科的进展，特别是神经科学与认知科学，以及对数学工具的寻找结果。 谢谢！ * * 平凡解问题 James(19世纪末)： 神经元相互连接 McCulloch, Pitts(20世纪中期): “兴奋”和“抑制” Hebb(20世纪中期): 学习律 神经科学 Barlow：功能单细胞假设 Hebb：神经集合体假设 Rosenblatt：感知机（1956） Rumelhart：BP（1986） PAC (Valiant 1984) Schapire：弱学习定理（1990） Freund：AdaBoost（1996） 线性不可分问题（Minsky 1969） Vapnik：SVM（1991） 有限样本统计理论 线性空间表示 ？ i.i.d问题 一致性假设 30年 Widrow：Madline（1960） Samuel：符号机器学习 机器学习研究历程 ？ 泛化理论 *