浙江大学远程教育学院人工智能讲座.pptVIP

2.5.2 机器学习的地位和作用 机器学习是AI的核心研究内容 已成为整个计算机领域中最活跃、应用潜力最明显的领域之一 美国航空航天局JPL实验室的科学家们在2001年9月出版的《Science》上撰文指出：“机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展。” 机器学习研究的热门程度还可以从该领域的国际权威期刊Journal of Machine Learning Research的影响因子看出，据美国科学引文检索公司（ISI）统计，2004年该学报的影响因子已达到5.952，是整个计算机领域影响因子最高的期刊之一。 * 第六十二页，共一百一十二页。 机器学习的地位和作用（续） 主要应用领域 数据挖掘 语音识别 图像识别 机器人 车辆自动驾驶 生物信息学 信息安全 遥感信息处理 计算金融学 工业过程控制 …… 涉及的主要学科 人工智能 模式识别 概率统计 神经生物学 认知科学 信息论 控制论 计算复杂性理论 哲学 …… * 第六十三页，共一百一十二页。 19世纪末，James发现了神经元是相互连接的现象 20世纪30年代，McCulloch和Pitts发现了神经元的“兴奋”和“抑制”机制 20世纪中叶，Hebb发现了“学习律” 机器学习的发展大致可分为两条重要主线 2.5.3 机器学习的发展历程 * 第六十四页，共一百一十二页。 主线一：以Barlow提出的功能单细胞假设为依据 1956年，Rosenblatt提出了感知器 随后近30年，Samuel等人提出的“符号机器学习”方法一直处于主导地位 1969年，Minsky开始研究线性不可分问题 1986年，Rumelhart提出了著名的后向传播（BP）神经网络 20世纪90年代，Vapnik等人提出了针对有限样本的统计学习理论（SLT）和支持向量机（SVM） 机器学习的发展主线一 * 第六十五页，共一百一十二页。 主线二：以Hebb提出的神经集合体假设为依据 1960年，Widrow提出了Madline以解决平凡解问题 1984年，Valiant提出了PAC 1990年，Schapire提出了弱学习定理 1995年，Freund和Schapire提出了AdaBoost算法 在上述研究成果的基础上，逐渐形成了泛化理论 1967年，哥德尔从数学上证明了符号机器学习是不可能完全实现的 …… 机器学习的发展主线二 * 第六十六页，共一百一十二页。 泛化能力（Generalization） 越准越好：永远追求的目标之一 支持向量机(SVM)、集成学习(Ensemble learning) 速度 越快越好：永远追求的目标之一 训练速度、测试速度 可理解性 现实中需要向用户解释——Why？ 如：医疗诊断中需向用户解释“为何做出这个诊断？” 目前功能强大的机器学习方法（NN, SVM 等）绝大多数是“黑盒子” 2.5.4 机器学习中的五个挑战性问题 * 第六十七页，共一百一十二页。 数据利用能力 如何处理现实中绝大多数“未标记”数据？ 如何处理含噪声、属性缺失、不一致的“坏”数据？ 如何处理大量分布“不平衡”数据？ 代价敏感（Cost-sensitive） 不同应用领域所能容忍的错误代价不一样 同一应用领域中不同判断所对应的代价也不一样 期望以较小的代价达到“趣利避害”的目的 典型评价方法：ROC (Receiver Operating Characteristics) 机器学习中的五个挑战性问题（续） * 第六十八页，共一百一十二页。 2.5.5 机器学习中的主要理论问题 统计类机器学习需要满足独立同分布条件，该要求太过苛刻 没有一般的指导原则来寻找问题线性表示的空间 没有好的方法来支持信息向符号的映射 机器学习没有一劳永逸的解决方案 领域知识与数据分析不可避免 * 第六十九页，共一百一十二页。 2.5.6 机器学习的发展趋势 主方向的改变 不再单独做“会学习的机器（人）” 越来越朝着“智能数据分析”的方向发展 已成为智能数据分析的支撑技术 侧重点的改变 传统ML强调“学习本身是目的” 当前ML强调“学习本身是手段” 新的机器学习方法不断涌现 流形学习、增强学习、多示例学习、半监督学习、Ranking学习、数据流学习…… * 第七十页，共一百一十二页。 2.6 几种重要的机器学习方法 统计学习理论与支持向量机 统计学习理论（SLT） 支持向量机（SVM） 隐马尔可夫模型（HMM） 贝叶斯网络（Bayesian Network） …… * 第七十一页，共一百一十二页。 2.6.1 统计学习理论与支持向量机 SLTSVM的地位与作用 SL