神经网络的数学基础幻灯片.pptVIP

神经网络的数学基础 1 信号与权值向量空间 2 神经网络中的线性变换 3 性能曲面和最优点 4 性能优化 1 信号与权值向量空间 线性向量空间 线性无关 生成空间 内积 范数 正交性 向量展开式 （一）线性向量空间的定义 （三）生成空间 假设X是一个线性空间，且{u1,u2,…,um}是X中一般向量的子集。该子集能够生成X ，当且仅当对每一个x∈X，都存在一组标量a1,a2,…,am，满足：x=a1u1+a2u2+…+amum。也就是说，如果空间中的每个向量都能写成该子集中向量的线性组合，那么这个子集就能够生成一个空间。 基集：X的基集是由生成X的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。 （四）内积 内积是许多神经网络操作的基础 （五）范数 如果一个标量函数||x||满足以下一些性质，则称其为范数： （六）正交性 如果两个向量x, y, 满足(x,y)=0, 那么说这两个向量是正交的。 正交的向量空间：如果向量x∈X正交于子空间X1中的每一个向量，则x正交于子空间X1，通常将其记为x⊥X. Gram—Schmidt正交化方法(Charpter 5 Demo) 标准正交向量： （7）向量展开式 如果向量空间X的基集{u1,u2,…,un},那么任意向量x∈X有唯一的展开式： 互逆基向量 2 神经网络中的线性变换 线性变换 矩阵表示 基变换 特征值和特征向量 （一）线性变换 一个变换Φ是线性的，如果： （二）矩阵表示 对于两个有限维向量空间之间的任意线性变换都存在与其相应的矩降表示。 基变换 特征值和特征向量 3 性能曲面和最优点 性能学习开发的背景知识： 泰勒级数 方向导数 极小点 优化的必要条件 二次函数 （一）泰勒级数 方向导数 极小点 优化的必要条件 二次函数 4 性能优化 性能优化 最速下降法 牛顿法 共轭梯度法 最速下降法 牛顿法 共轭梯度法 前面一章我们开始了性能曲面的研究。现在我们来寻求搜索参数空间和确定性能曲面最优点的算法(求给定神经网络的最优权值和偏置值) * * 一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素集合： R2 x y X X 假设C[0,1]是定义在[0,1]区间上的所有连续函数的集合，该集合的两个元素是： C[0,1]也是一个线性空间 （二）线性无关 但是这并不是惟一可能的内积形式！！！ 范数基于内积的定义： 角度： 所以，有限维向量空间中的任意向量都可以用一列数来表示： 思考：如何求系数ai ? * * *