机器学习04-38.pptVIP

第4章 人工神经网络 简介 神经网络表示 适合神经网络学习的问题 感知器 多层网络和反向传播算法 反向传播算法的说明 举例：人脸识别 人工神经网络的高级课题 小结和补充读物 第4章 人工神经网络 人工神经网络（Artificial Neural Networks, ANN）可以从样例学习值为实数、离散值或向量的函数。 反向传播（BACKPROPAGATION）算法使用梯度下降来调节网络参数以最佳拟合由输入－输出对组成的训练集合。 ANN学习对于训练数据中的错误健壮性很好，已应用于视觉场景分析（interpreting visual scenes）、学习识别手写字符、学习识别人脸、语音识别以及机器人控制等。 对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经元网络是目前知道的最有效的学习方法。 第4章 人工神经网络 胡守仁主编，神经网络导论、神经网络应用技术等丛书。国防科技大学出版社 4.1 简介 ANN 的研究在一定程度上受到了生物学的启发，因为生物的学习系统是由相互连接的神经元（neuron）组成的异常复杂的网络。 据估计，人类的大脑是由大约1011个神经元相互连接的密集网络，评均每一个神经元与其他104个神经元相连。 ANN与此相似，它是由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入（可能是其他单元的输出），并产生单一的实值输出（可能成为其他很多单元的输入）。 4.1 简介 ANN只是在一定程度上受生物神经系统的启发，但并未模拟生物神经系统中的很多复杂特征，而且已经知道ANN的很多特征与生物系统是不一致的。如考虑ANN，每个单元输出单一的不变值，然而生物神经元输出的是复杂的时序脉冲。 长期以来，人工神经元网络的研究者分为两个团体。一个团体的目标是使用ANN研究和模拟生物学习过程。另一个团体的目标是获得高效的机器学习算法，不管这种算法是否反映了生物过程。 关于使用ANN模拟生物系统的更多信息，见参考资料 4.2 神经网络表示 ALVINN系统是ANN学习的一个典型实例，该系统使用一个学习到的ANN以正常的速度在高速公路上驾驶汽车。ANN的输入是一个30乘32像素的网格，像素的亮度来自一个安装在车辆上的前向摄像机。 ANN的输出是车辆行进的方向。该ANN通过模仿人类驾驶时的操纵命令进行训练，训练过程大约5分钟。 ALVINN用学习到的网络在高速公路上以70英里时速成功地驾驶了90英里。在分行公路的左车道行驶，同时有其他车辆。 4.3 适合神经网络学习的问题 实例是用很多“属性－值”对表示的 目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误：ANN学习算法对于训练数据中的错误有非常好的健壮性 可容忍长时间训练：网络训练算法通常比像决策树学习这样的算法需要更长的训练时间。 可能需要快速求出目标函数值 人类能否理解学到的目标函数是不重要的：神经网络方法学习到的权值经常是人类难以解释的。学习到的神经网络比学到的规则难以传达给人类。 4.4 感知器 一种类型的ANN系统是以被称为感知器（perceptron）的单元为基础的。感知器以一个实数值向量作为输入，计算这些输入的线性组合，然后如果结果大于某个阀值，就输出1，否则输出-1。 其中每一个wi是一个实数常量，或叫做权值（weight），用来决定输入xi对感知器输出的贡献率。 数量-w0是一个阀值，它是为了使感知器输出1，输入的加权和必须超过的阀值。 感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合 4.4.1 感知器的表征能力 可以把感知器看作是n维实例空间（即点空间）中的超平面决策面。对于超平面一侧的实例，感知器输出1，对于另一侧的实例输出-1。该决策超平面的方程是　　　 某些正反样例集合不可能被任一超平面分割。那些可以被分割的称为线性可分（linearly separable）样例集合 单独的感知器可以表示很多布尔函数。如与、或、非、与非、或非等。但不能表达异或函数。 所有的布尔函数都可表示为基于这些原子函数的互连单元的某个网络。事实上，仅用两层深度的感知器网络就可以表示所有的布尔函数 因为逻辑阀值单元的网络可以表示大量的函数，而单独的单元做不到这一点，所以通常我们感兴趣的是学习阀值单元组成的多层网络 4.4.2 感知器训练法则 学习任务是决定一个权向量，它可以使感知器对于给定的训练样例输出正确的1或-1。 有几种解决该学习任务的算法，包括感知器法则和delta法则（delta rule）（是用来学习评估函数的最小均方法LMS的一个变体）。这两种算法保证收敛到可接受的假设，在不同的条件下收敛到的假设略有不同。它们提供了学习多个单元构成的网络的基础， 为得到可接受的权向