常见的神经网络数学基础.pptVIP

;信号和权值向量空间;线性向量空问;如图1所示。显然它是一个向量空间，并且对于向量加和标量乘全部满足10个条件。 的子集又将如何? 考虑图2中方框内的区域x。向量x和y在区域内，但是x+y却可能不在的区域内。从这个例子可以看出，任何限定边界的集合都不可能是向量空间。 所有经过坐标轴原点的直线都满足上述10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。 ;如果已经习惯于将向量看作是一列数字，那么这两个元素的确是奇怪的向量。但是请记住：一个集合只要满足上述10个条件，就可以被认为是一个向量空间。 例如考虑最高阶数小于或等于2的多项式集合此集合的两个元素是：;;线性无关;生成空间;;内积;范数;正交性;向量展开式;互逆基向量;;;;;;;由此可以看出，当要用一列数字表示一个一般向量时，必须知道其向量展开式所采用的基集是什么。在如果没有特殊说明，那么假设所采用的都是标准基集。;Gram矩阵;; 神经网络中的线性变换;线性变换;旋转变换 ;矩阵表示; 以旋转变换为例，来讨论变换的矩阵表示，看看如何找到该变换的矩阵表示。;可以看到展式中的两个系数就是的矩阵中的第一列。;从展式中可以得到矩阵表示中的第二列。所以，完整的矩阵表示可以由下式：;特征值和特征向量;;性能曲面和最优点;性能优化;泰勒级数;;向量的情况;;;方向导数;;最大斜率在什么方向上?当方向向量与梯度的内积最大时斜率最大，故当方向向量与梯度同向时会出现最大斜率(注意方向向量的长度对此没有影响，因为它已被规格化)。;极小点;;;;优化的必要条件;驻点：一个极小点处的梯度一定为零。这就是局部极小点的一阶必要条件(不是充分条件)。;二阶条件;;二次函数;研究赫森矩阵的特征值和特征向量得到二次函数性质。考虑以原点为驻点且其值为0的二次函数：;;用方向导数的概念说明A的特征值和特征向量的物理意义以及确定二次函数的曲面特性：;;;;现将二次函数的一些特点小结如下：;性能优化;最速下降法;下降方向 满足上式的任意向量称为一个下降方向。如果沿此方向取足够小的步长，函数一定递减。这带来了另一个问题：最速下降的方向在???里?(即在什么方向上函数递减速度最快?)这种情况发生于下式为最大的负数时： (设长度不变，只改变方向。)这是梯度和方向向量之间的内积。当方向向量与梯度反向时，该内积为负，而绝对值最大。(见关于方向导数的讨论。)所以最速下降方向的向量：;最速下降法：迭代中使用此式得最速下降的方法。;