第4章人工神经网络1-基信础知识.pptxVIP

第4章 人工神经网络;4.1 基础知识 1 最速下降法（梯度法） 2 Matlab程序设计语言与神经网络工具箱 ;1 最速下降法 ;回顾高等数学中一元函数的求极值问题：;n 元函数极小点的条件：;自然而然想到的求极小值的方法 令梯度为零，通过解非线性方程组，求出一组极值点 根据每一个极值点处的矩阵是否为半正定，来判断极小值点;在实际中，这一方法是不可行的： 变量的个数多 不易求解非线性方程组 不易判断矩阵是否半正定;在最优化技术中，采用迭代的方法求出其中的一个解;在最速下降法中，以负梯度方向作为极小化算法的下降方向 迭代格式为;是迭代步长，可以用一维搜索来确定 ;最速下降法的计算步骤： 1：给定初始点 x1，允许误差ε，置 k=1 2：计算搜索方向 g(xk) = ?f (xk) ;3：如果 || g(x) ||2≤ε，则终止计算，算法找到解。否则，从 x k 出发，沿 -g(xk) 进行一维搜索，求出αk ，使得 f(xk -αk g(xk)) = min f(xk -α g(xk)) 4：置 xk+1= xk -αk g(xk) ，k=k+1，转到步2 ;说明： 在编程时，还需要设置最大允许迭代次数，以提前终止迭代过程 在人工神经网络的算法中经常人为地设定迭代步长（学习率）?（常量或者单调减小）;梯度法的特点： 一般来说，只能找到一个局部最小点（多解） 收敛速度较慢 算法结构简单，易于用各种编程语言来实现;2 Matlab程序设计语言与神经网络工具箱 ;Matlab的特点： ①高效方便的矩阵和数组运算 例如：求Ax=b， 语句是 x=A\b 求特征值，语句是 e=eig(A) ②编程效率高 Matlab语言简洁紧凑，使用灵活方便，程序书写形式自由。库函数丰富;③结构化/面向对象 当前Matlab版本采用C++编写的，既有结构化的控制语句（for, while, break, continue, if），又有面向对象编程的特性 ④方便的绘图功能 能够绘制各种二维、三维图件;⑤用户使用方便 使用方式有命令行和.m文件（脚本M文件、函数M文件）。后者作为编译型语言使用：编辑-编译-连接-执行与调试 ⑥功能强大的工具箱 近三十个工具箱 ;⑦扩充能力强 用户可以自己编写函数，建立新的库函数和扩充库函数。核心文件和工具箱文件都是可读可写的源文件，用户可以修改。可以与C，C++语言混合编程 ⑧计算速度比C语言慢，易学会难精通;(2) Matlab语言的要点 ;变量 变量命名规则是： ①区分大小写 ②长度最多不能超过19个字符 ③变量名必须以字母开头，由字母、数字和下划线组成;数组 数组是一系列数的有序排列，用方括号“ [ ] ”表示 数组的下标从 1 开始 元素之间用“ 空格 ”或“ 逗号 ”分开;例：x=[0 , 1 , 2 , 3 , 4 , 5 , 6];（行向量） x( 1 )：第一个元素 x( 1 : 5 )：第一到第五个元素 x( 3 : -1 : 1 )：第三到第一个元素 ;注意： 如果语句最后没有“ ；”，则显示 x 的所有值 有分号则不显示;矩阵 矩阵用“ 方括号 ”来表示 同一行的数据用“ 空格 ”或“ 逗号 ”隔开 不同行的数据用“ 分号 ”隔开 ;例：A=[ 1 , 0 , 0 ; 0 , 1 , 0 ; 0 , 0, 1 ]; 引用一个元素可以用两个下标来表示 例 A(i , j) 引用多个元素可以用冒号来表示 例 A（：，j）：第 j 列的所有元素;4.1.2.3 神经网络工具箱 ;④自组织网络（SOM，Kohonen，1980） ⑤离散的Hopfield网络（Hopfield，1986）;第4章 人工神经网络;4.2.1 生理神经元 4.2.2 人工神经元 4.2.3 神经网络;4.2.1 生理神经元 1 生理神经元的结构 2 生理神经元的工作原理;典型的神经元分成： 细胞体(cell body) 突(process);轴突是个突出部分，长度可达 l m，把本神经元的输出发送到与其相连接的其它神经元;树突是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号 ;突触是轴突的末端与树突进行信号传递的界面;2 神经元的工作原理;神经元通过突触形成的网络，传递神经元间的兴奋与抑制；大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维;4.2.2 人工神经元;在人工神经元模型中： 用权值和乘法器模拟突触特性 用加法器模拟树突的互联作用 用与阈值比较来模拟细胞体内电化学作用产生的开关特性;n 个输入 xi ?R (