第七章：机器学习.pptVIP

第七章机器学习;7.1机器学习的定义和发展历史;7.1.2 机器学习的发展史;机器学习进入新阶段的表现

机器学习已成为新的边缘学科并在高校形成课程。

综合各种学习方法

机器学习与人工智能问题的统一性观点正在形成。

各种学习方法的应用范围不断扩大。

数据挖掘和知识发现的研究已形成热潮。

与机器学习有关的学术活动空前活跃。

;7.2机器学习的主要策略和基本结构;7.2.2机器学习系统的基本结构

1.学习系统的基本结构

;2.影响学习系统设计的要素

影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。

知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。;7.3机械学习

1.机械学习模式

机器学习是最简单的学习方法。机器学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。;7.4归纳学习;7.5类比学习;7.5.2类比学习过程与研究类型;类比学习的研究可分为两大类：

(1)问题求解型的类比学习

(2)预测推定型的类比学习。它又分为两种方式：

一是传统的类比法

另一是因果关系型的类比;7.6解释学习;7.7神经学习

7.7.1基于反向传播网络的学习

反向传播（back-propagation,BP）算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。BP算法过程包含从输出节点开始，反向地向第一隐含层传播由总误差引起的权值修正。

;BP算法的学习过程=正向传播+反向传播

正向传播：输入信息从输入层经隐含层逐层处理后，传至输出层。每一层神经元的状态只影响下一层神经元的状态。

反向传播：如果在输出层得不到期望输出，那么就转为反向传播，把误差信号沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。;BP网络是一类典型的前馈网络，具有优点：

具有很强学习能力

结构比较简单

易于编程

缺点：

缺乏动态处理能力，因而计算能力不够强;7.7.2基于Hopfield网络的学习

反馈神经网络，它是一种动态反馈系???，比前馈网络具有更强的计算能力。

Hopfield网络是一种具有正反相输出的带反馈人工神经元。;Hopfield网络系统不仅能实现联想记忆，而且能够执行线性和非线性规划等优化求解任务。网络的收敛时间可在毫秒级以下。由于并行处理能力，其收敛时间几乎与网络的单元数目无关。因此，Hopfield网络特别适用于一些模糊推理模型、非线性辨识和自适应控制模型中的问题学习求解.;7.8知识发现

7.8.1知识发现的发展和定义

知识发现的产生和发展

知识发现最早是于1989年8月在第11届国际人工智能联合会议的专题讨论会上提出。

知识发现的定义

数据库中的知识发现是从大量数据中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高级处理过程。;7.8.2知识发现的处理过程;3.数据变换。即从发掘数据库里选择数据;7.8.3知识发现的方法;数据挖掘;7.8.4知识发现的应用;美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展;例子—网络安全;例子—生物信息学;计算机科学在过去十年中发展极为迅速，今后会快速稳定地发展、对科学做出更大贡献的领域

[E.MjolsnessD.DesCoste,Science01]

人工智能中最活跃、应用潜力最明显的领域（之一）

[T.G.Dietterich,AIMag97]

美国、欧洲各国都投入了大量人力物力

大型公司如波音、微软、通用电器等都有研究课题

已有一些研究成果进入产品;机器学习角色的转变;机器学习角色的转变;机器学习的五个挑战问题;挑战问题(1)：泛化能力;挑战问题(1)：泛化能力（续）;挑战问题(2)：速度;挑战问题(2)：速度（续）;挑战问题(3)：可理解性;挑战问题(3)：可理解性（续）;挑战问题(4)：数据利用能力;挑战问题(4)：数据利用能力（续）;第四个挑战问题：

今后10年

能否“数据通吃”？

如何“吃”？;挑战问题(5)：代价敏感;第五个挑战问题：

今后10年

能否“趋利避害”？

在达到较低的总错误率的基础上，

如何“趋”、如何“避”？;挑战问题：……;7.9小结