神经网络数学入门基础.pptVIP

信号和权值向量空间 将神经网络的输入、输出以及权值矩阵的行作为向量看待是非常有好处的。这些都是中的向量。 是标准的n维欧基里德空间 线性向量空问 如果已经习惯于将向量看作是一列数字，那么这两个元素的确是奇怪的向量。但是请记住：一个集合只要满足上述10个条件，就可以被认为是一个向量空间。 例如考虑最高阶数小于或等于2的多项式集合此集合的两个元素是： 线性无关 生成空间 内积 范数 正交性 向量展开式 互逆基向量 如果需要向量展开式，而基集又不是正交的，那么就必须引人下列等式所定义的互逆基底： Gram矩阵 神经网络中的线性变换 诸如特征值、特征向量和基变换等基本概念，这些概念对理解一些诸如性能学习(反传学习算法)以及Hopfield网络的收敛特性等神经网络关键课题是十分重要的。 线性变换 变换：一个变换由三部分组成 矩阵表示 可以证明两个有限维向量空间之间的任何线性变换都可以用一个矩阵来表示(这和在有限维的向量空间中的任何一个向量可以用一个数列来表示是一样的)。 以旋转变换为例，来讨论变换的矩阵表示，看看如何找到该变换的矩阵表示。 特征值和特征向量 考虑一个线性交换： ： (定义域和值域相同)。分别称满足下式的那些不等于0的向量和标量分别是特征向量和特征值： 请注意，特征向量实际上并不是一个真正的向量，而是一个向量空间。所以，给定变换的一个特征