第四章--人工神经网络-v9.1.ppt

2003.12.18 机器学习-人工神经网络 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 机器学习 第4章 人工神经网络（ANN） 简介 神经网络学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法 对于某些类型的问题，如,学习解释复杂的现实世界中的传感器数据、学习识别手写字符、学习识别口语、学习识别人脸人工神经网络是目前知道的最有效的学习方法 反向传播算法(在实际应用中取得惊人的成功) 生物学动机 人脑的构成，大约有1011个神经元，平均每一个与其他104个相连 神经元的活性通常被通向其他神经元的连接激活或抑制 最快的神经元转换时间比计算机慢很多，然而人脑能够以惊人的速度做出极其复杂的决策 很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理 ANN受到生物学的启发，生物的学习系统是由相互连接的生物神经元组成的异常复杂的网络。 因此,ANN由一系列简单的电子单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出。 Perceptron 适合神经网络学习的问题 实数值函数逼近问题。 训练集合为含有噪声的复杂传感器数据，例如来自摄像机和麦克风 与决策树对比：符号表示的问题，例如决策树学习的任务，能够取得和决策树学习大体相当的结果。 反向传播算法是最常用的ANN学习技术 可以长时间进行学习 本章余后部分提纲 介绍组成神经网络的几种主要单元 感知器（perceptron） 线性单元（liner unit） sigmoid单元（sigmoid unit） 讨论训练单个单元的学习算法 给出训练多层网络的反向传播算法 考虑几个一般性问题 ANN的表征能力 假设空间搜索的本质特征 过度拟合问题 反向传播算法的变体 感知器 感知器是最早的ANN系统的基本构成元素 感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出-1 其中每个wi是一个实数常量，或叫做权值，用来决定输入xi对感知器输出的贡献率。特别地，-w0是阈值。 Perceptron 感知器（2） 为了简化表示，附加一个常量输入x0=1，前面的不等式写成 或写成向量形式 为了简短起见，把感知器函数写为 其中， 感知器（3） 学习一个感知器意味着选择权w0,…,wn的值以使输出达到训练样例的要求。所以感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合 表达“与”的感知器 X1 X2 X1^X2 1 1 1 -1 1 -1 1 -1 -1 -1 -1 -1 W1=0.5, W2=0.5, W0= -0.75 感知器的表征能力(1) 感知器的表征能力(2) 单个感知器的表达能力是构成ANN表达能力的基础. 可以把感知器看作是n维实例空间（即点空间）中的超平面(决策面). 对于超平面一侧的实例，感知器输出1，对于另一侧的实例，输出-1 这个决策超平面方程是 可以被某个超平面分割的样例集合，称为线性可分样例集合 感知器的表征能力（3） 单独的感知器可以用来表示很多布尔函数(例如，假定用1（真）和-1（假）表示布尔值，那么使用一个两输入的感知器来实现与函数（AND）的一种方法是设置权w0= - 0.8并且w1=w2=0.5。则x1=1,x2=1,有-0.8+0.5*1+0.5*10,取sgn(0.2)=1. 再如, x1=1, x2= -1, 有-0.8+0.5*1+0.5*(-1) 0,取sgn(-0.8)= -1.故这个感知器计算的结果总与(x1 AND x2)相同,我们说,它与AND函数等价,或它表示了AND布尔函数. 如果用这个感知器来表示或函数（OR），那么只要改变它的阈值 w0= 0.3。 ) 表示m-of-n函数(也就是要使函数输出为真，那么感知器的n个输入中至少m个必须为真。 例如,2-of-5, 怎么设置?) 感知器可以表示所有的原子布尔函数：与、或、与非、或非(只要适当的设置w1和w2即可) 然而，一些布尔函数无法用单一的感知器表示，例如异或XOR:它当且仅当x1?x2时输出为1 (不论如何设置w1和w2),说明XOR不是线形可分的,如图. 感知器的表征能力（3） 因为所有的布尔函数都可表示为基于原子函数的互连单元的某个网络，因此感知器网络可以表示所有的布尔函数。事实上，只需要两层深度的网络，比如表示析取范式. 注意，要把一个AND感知器的输入求反只要简单地改变相应输入权的符号 感知器的表征能力（3） A=1,B=-1: 上面单元: 0.5*