神经网络数学基础省公开课一等奖全国示范课微课金奖.pptxVIP

;信号和权值向量空间;线性向量空问;如图1所表示。显然它是一个向量空间，而且对于向量加和标量乘全部满足10个条件。子集又将怎样?

考虑图2中方框内区域x。向量x和y在区域内，不过x+y却可能不在区域内。从这个例子能够看出，任何限定边界集合都不可能是向量空间。

全部经过坐标轴原点直线都满足上述10个条件。不过，假如直线不经过坐标轴原点，那么最少这种直线不能满足第4个条件。;假如已经习惯于将向量看作是一列数字，那么这两个元素确实是奇怪向量。不过请记住：一个集合只要满足上述10个条件，就能够被认为是一个向量空间。

比如考虑最高阶数小于或等于2多项式集合此集合两个元素是：;;线性无关;生成空间;;内积;范数;正交性;向量展开式;互逆基向量;;;;;;;由此能够看出，当要用一列数字表示一个普通向量时，必须知道其向量展开式所采取基集是什么。在假如没有特殊说明，那么假设所采取都是标准基集。;Gram矩阵;;神经网络中线性变换;线性变换;旋转变换

;矩阵表示; 以旋转变换为例，来讨论变换矩阵表示，看看怎样找到该变换矩阵表示。;能够看到展式中两个系数就是矩阵中第一列。;从展式中能够得到矩阵表示中第二列。所以，完整矩阵表示能够由下式：;特征值和特征向量;;性能曲面和最优点;性能优化;泰勒级数;;向量情况;;;方向导数;;最大斜率在什么方向上?当方向向量与梯度内积最大时斜率最大，故当方向向量与梯度同向时会出现最大斜率(注意方向向量长度对此没有影响，因为它已被规格化)。;极小点;;;;优化必要条件;驻点：一个极小点处梯度一定为零。这就是局部极小点一阶必要条件(不是充分条件)。;二阶条件;;二次函数;研究赫森矩阵特征值和特征向量得到二次函数性质。考虑以原点为驻点且其值为0二次函数：;;用方向导数概念说明A特征值和特征向量物理意义以及确定二次函数曲面特征：;;;;现将二次函数一些特点小结以下：;性能优化;最速下降法;下降方向满足上式任意向量称为一个下降方向。假如沿此方向取足够小步长，函数一定递减。这带来了另一个问题：最速下降方向在哪里?(即在什么方向上函数递减速度最快?)这种情况发生于下式为最大??数时：

(设长度不变，只改变方向。)这是梯度和方向向量之间内积。当方向向量与梯度反向时，该内积为负，而绝对值最大。(见关于方向导数讨论。)所以最速下降方向向量：;最速下降法：迭代中使用此式得最速下降方法。;