课件：人工神经网络程.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 马尽文 * 2.3 非线性连续变换单元组成的网络 根据傅立叶级数理论，对于 的分量 ，则 其中 是 的 步傅立叶级数和函数： 下面证明傅立叶级数中任意三角函数可以用三层BP子网络来逼近，那么通过傅立叶级数的线性组合就可以保证用三层BP网络来逼近函 。 考虑结构为 的三层BP网络，其输出为： ) ( x h ) ( x h j ) ( x h j ) ( x h j * 马尽文 * 2.3 非线性连续变换单元组成的网络 我们来证明输出函数 能够逼近任何三角函数：令 考虑函数 ，当 ， 趋向于单位阶跃函数（见右图），则 为一些近似单位阶跃函数 的线性叠加，故当 充分 j a u * 马尽文 * 2.3 非线性连续变换单元组成的网络 大时，我们可将区间 充分的细分，选取 和 ， 使得 ，或 即得： 对于 ，我们有下面的展开： * 马尽文 * 2.3 非线性连续变换单元组成的网络 * 马尽文 * 2.3 非线性连续变换单元组成的网络 使用充分多的隐单元，可得 令 * 马尽文 * 2.3 非线性连续变换单元组成的网络 (iii). 隐单元数的选择 隐单元数：小，结构简单，逼近能力差，不收敛；大，结构复杂，逼近能力强，收敛慢。 对于用作分类的三层BP网络，可参照多层感知机网络的情况，得到下面设计方法： (a). 其中 为样本个数，选取满足上式最小的 。 (b). ?. * 马尽文 * 2.3 非线性连续变换单元组成的网络 (iv). 网络参数初始值的选取 初试权：随机， 比较小（接近于0），保证状态值较小，不在平滑区域内。 6. BP网络的应用 (i). 模式识别、分类。用于语音、文字、图象的识别，用于医学图象的分类、诊断等。 (ii). 函数逼近与系统建模。用于非线性系统的建模，拟合非线性控制曲线，机器人的轨迹控制，金融预测等。 * 马尽文 * 2.3 非线性连续变换单元组成的网络 (iii). 数据压缩。在通信中的编码压缩和恢复，图象数据的压缩和存储及图象特征的抽取等。 例1. 手写数字的识别 由于手写数字变化很大，有传统的 统计模式识别或句法识别很难得到 高的识别率，BP网络可通过对样本的学习得到较高的学习率。为了克服字体大小不同，我们选取这些数字的一些特征值作为网络输入。（可提取）特征如： 1，2，3，7 ：具有两个端点； 0，6，8，9：具有圈；2：两个端点前后； * 马尽文 * 2.3 非线性连续变换单元组成的网络 对于一个样本，若具有那个特征，所对应的特征输入单元取值为1，否则为0。我们可选择34个特征，即输入单元个数为34。输出可取10个单元，即1个输出单元对应一个数字（该单元输出为1，其它为0）。如果选取200个人所写的1000个样本进行学习，使用三层BP网络，隐层单元数 应如何选择呢？ 根据前面的经验公式，可得到下面结果： * 马尽文 * 2.3 非线性连续变换单元组成的网络 在实际中，我们选择 。通过对1000个样本的学习所得到的网络对6000个手写数字的正确识别率达到95%。 例2.非线性曲线的拟合。在控制中往往希望产生一些非线性的输出输入关系。例如，已知一个机械臂取物的轨迹，根据这个轨迹可计算出机械臂关节的角度 和 （两个关节），按照机械臂的 要求应该反演计算出驱动马达的力或频率这是一个相当复杂的计算问题。但我们可 * 马尽文 * 2.3 非线性连续变换单元组成的网络 采用BP网络对一些样本的学习得到这些非线性曲线的拟合，根本无须知道机械臂的动力学模型。在一维情况下，就是拟合 ，其中 表示 角， 为所对应的马达驱动力。在某些位置，我们容易得到这些对应值，因此可以得到足够的样本。 * 马尽文 * 2.3 非线性连续变换单元组成的网络 例3.数据压缩 BP网络相当于一个编码、 解码器， 越小，压缩 率越小，但太小可能达 不到唯一译码的要求。 * 马尽文 * 2.3 非线性连续变换单元组成的网络 作业：1.推导k层前馈网络的BP算法，并且考虑跨层连接的权值。 2.采用2-2-1结构的前馈网