机械工程第4章.pptVIP

机器学习 华南理工大学 计算机科学与工程学院 陈琼 2009/04/18 参考教材: 蔡自兴，徐光佑. 人工智能及其应用(第三版）). 北京：清华大学出版社，2004. Stuart Russell, Peter Norvig. “Artificial Intelligence: A Modern Approach”. 机器学习 （美）Tom M.Mitchell 著 机械工业出版社 模式分类 （美）Richard O.Duda 等著 机械工业出版社 机器学习的定义 利用经验改善系统自身的性能 [T.Mitchell, Book 97] 机器学习 是研究如何使用机器来模拟人类学习活动的一门学科。 机器学习的定义 学习是系统所作的适应性变化，使得系统在下一次完成同样或类似的任务时更为有效。 [H.A.Simon] 学习是构造或修改对于所经历事物的表示。 [R.S.Michalski] 学习是知识的获取。  机器学习是多学科的交叉 机器学习的重要性 机器学习是人工智能的主要核心研究领域之一, 也是现代智能系统的关键环节和瓶颈。 很难想象: 一个没有学习功能的系统能被称具有智能的系统。 来自生物、金融与网络等各领域的数据，迫切需要分析或建立模型。 机器学习的应用 网络安全 入侵检测 天气预报 对未来天气的预报 搜索引擎 机器学习技术支撑各类搜索引擎技术 汽车的自动驾驶 天文数据的分析 机器学习的应用 生物技术 蛋白质片段预测 基因表达分析 计算机系统特性预测 银行 信用卡 欺诈行为识别 字符识别 Web应用 …… 机器学习的分支 数据挖掘 利用历史数据来改进决策 医学记录 --?医学知识 软件应用（不能手工编程的应用） 汽车自动驾驶 语音识别 等 自用户化程序 新闻阅读器学习用户的阅读兴趣 机器学习与美国的PAL计划 美国航空航天局JPL实验室的科学家在《Science》(2001年9月)上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展。 机器学习的发展历史 机器学习是人工智能研究较为年轻的分支，它的发展过程大体上可分为4个时期。 热烈时期 50年代中叶到60年代中叶 冷静时期 60年代中叶至70年代中叶 复兴时期 70年代中叶至80年代中叶 最新阶段 从1986年 --- 机器学习早期研究 Rosenblatt的感知机(1956)。 Widrow的Madline (1960)。 Samuel的符号机器学习(1965)。 Minsky的“Perceptron”著作(1969，1988) 二十世纪八十年代的研究 符号机器学习取得进展。 神经网络的研究。 计算学习理论---PAC(概率近似正确)。 两类最重要的符号机器学习算法 覆盖算法与分治算法。 七十年代末，Michalski基于带等号的逻辑演算，提出了AQ11算法，称为符号机器学习的覆盖算法。 1986年，Quinlan提出了决策树算法，也称为分治算法(树结构表示的最早研究是CLS，概念学习系统)。 神经网络 Hopfield模型。 Kohonen模型。 Goldberg的ART模型。 ……。 最有影响的是Remulhart等人提出的BP算法(1986)。 计算学习理论 1984年，Valiant提出机器学习应该以模型概率近似正确(1-δ)为指标，而不是以概率为1为指标。 学习算法必须对样本集合的规模呈多项式。 统计机器学习、集成机器学习等方法的理论基础。 机器学习的研究 理论分析? ? 从理论上探索各种可能的学习方法和独立于应用领域的算法 监督学习 非监督学习 半监督学习 强化学习 多示例学习 增量学习与在线学习 集成学习 多策略学习 进化计算 人工生命 神经网络 模糊集与粗糙集 多 Agent系统中的学习 基于案例的推理 决策树 支持向量机 k近邻 序列分析 聚类 …… 面向任务的研究? ? 研究和分析改进一组预定任务的执行性能的学习系统。 信息检索 生物信息学 语音、图像处理与理解 自然语言理解 对复杂结构数据的学习 数据挖掘与知识发现 模式识别 多Agent系统中的学习 …… 认知模型? ? 研究人类学习过程并进行计算机模拟。 人类学习的