神经网络第一章课件.pptVIP

第1章 神经数学基础 　　　　　1.1 线性空间与范数　　线性空间属于变分法方面的内容，变分法的近代理论主要有两点：　　(1) 如何求泛函的极值；　　(2) 寻求能够在计算机上运行求泛函极值的编程方法。　　神经网络理论虽然主要为解决非线性问题而被引入到控制领域，但它更加适合于线性空间。 1.1.1 矢量空间　　1. 矢量空间的定义　　矢量空间X是用两种运算将矢量联系起来的元素集合，两种运算是加法运算及标量乘法运算。它们应当满足如下公理：　　　　　　　　　　　　x+y=y+x　　　　　　　　　　(x+y)+z=x+(y+z)存在唯一零元素α，使α+x=x　　　　　　　　　　a(x+y)=ax+ay　　　　　　　　　　(a+b)x=ax+bx　　　　　　　　　　(ab)x=a(bx)　　　　　　　　　　　0x=α　　　　　　　　　　　1x=x以上式中，x、y、z是X中的元素，a、b是标量。 　　1. 子空间的定义　　矢量空间X的一个非空子集M，若对任意两个标量a，b及任意的x，y∈M，均有ax＋by∈M，则称M是X的子空间。　　1.1.2 范数　　范数是定义在X上的一个实数函数，记为‖·‖，它满足三个公理：　　(1) 对所有x∈X，‖x‖≤0，且‖x‖＝0的充要条件为|x|=a。　　(2) 对一切x，y∈X，有‖x＋y‖≤‖x‖＋‖y‖。　　(3) 对一切x∈X，有‖ax‖=|a|‖x‖。其中，a是任一标量。 1.1.3 赋范线性空间　　1. 赋范线性空间的定义　　在矢量空间X上赋予了范数的该空间称为赋范线性空间。范数用式子定义成 　　1. 序列收敛　　在赋范线性空间X中，序列{xn}收敛到x是指：对任意给定的ε＞0，都存在一个N，当n＞N时，总有‖x－xn‖＜ε。　　若一个序列收敛，则其极限是唯一的。 1.1.4 L1范数和L2范数　　1. L1范数　　在Lk［a，b］内取k＝1，形成了L1［a，b］空间，L1范数定义成　　2. L2范数　　在Lk［a，b］内取k＝2，形成了L2［a，b］空间，L2范数定义成 　　　　　　　1.2　 迭 代 算 法　　非线性系统求解中，经常会遇到无约束极值问题，其求解往往归结成反复求解一系列无约束条件下单变量函数的最优解。1.2.1 迭代算法的终止准则　　1. 求最小值　　例如求解minf(x)，x∈R。求解步骤如下：　　(1) 给定目标函数f(x)极小点的一个初始估计点X0；　　(2) 按照一定规则产生一个序列{Xk}，如果该序列的极限为 　 或 　　2. 迭代法　　迭代法是求解线性或非线性方程(组)的一种解法，用于不需要求解方程精确解或无法求得精确解的场合。对有些数学问题，如果不能通过解析方法或有限次运算求解，就可以用迭代法。迭代法是指通过对解的一次次估计，逐步求得近似解。　　3. 终止准则　　如果由算法产生的序列{Xk}收敛于X*，只有当迭代过程进行到‖Xk+1－X*‖＜ε时，迭代过程才终止，这一规定称为终止准则，式中ε是一个事先给定的小正数，也称为误差或要求精度。 1.2.2 梯度下降法　　1. 下降法　　在求目标函数的极小点时，若给定初始点后，每迭代一步都使目标函数下降，即　　　　　　　　　f(Xk+1) ＜f(Xk)将此种算法称为下降法。　　当迭代过程进行到第k步，下一步将有两个问题产生：　　第一个问题，当Xk沿任何方向移动，目标函数值不再下降，这时的Xk将是局部极小点。 　　第二个问题，从Xk出发，至少有一个方向使目标函数值下降。可选一个方向Pk，沿Pk方向求f(X)的极小点，即确定一个新的Xk+1点：　　　　　　　　Xk+1＝Xk ＋αkPk　使　　　　　　f(Xk+1)＝f(Xk ＋αkPk) ＜f(Xk)完成了第k＋1次迭代，式中αk称为步长因子。　　迭代过程中有两个规则需要确定：　　第一个规则，选择下降方向Pk；　　第二个规则，确定步长因子αk。 　　2. 选择负梯度方向作为下降方向　　选择负梯度方向作为下降方向的迭代算法称为梯度下降法。　　　　　　　　　Pk＝－▽f(Xk) 第k＋1次的迭代方程记为 　　　　　f(Xk+1)＝f(Xk－αk▽f(Xk))＜f(Xk)由于选择的是负梯度方向，因此上式中的步长因子αk一定存在。　　若步长因子的一般式为α，通过在负梯度方向上确定使f(X)为最小的αk，迭代方程可表示成 　　　　f(Xk－αk▽f(Xk))＝minf(Xk－αf(Xk))若令K＝0，1，2，…，则可得序列x0，x1，…，xk，…。其中x0是初始点，故可任意选择，这样f(x)满足一定条件时必收敛