第5章-信号和权值向量空间.ppt

* * * * * * * * 第5章 信号和权值向量空间 5.1目标 从前面两章可以看出：将神经网络的输入，输出以及权值矩阵的行作为向量看待是非常有好处的。这一章将详细研究这些向量空间，并且复习一些对分析神经网络十分有用的向量空间性质。这里首先将从一般的定义开始，并将这些定义应用于特定的神经网络问题中。 * * 5.2 理论和实例 线性代数是理解神经网络所必需的数学知识的核心。 本章将复习在神经网络中有关向量空间的一些基本概念（比如内积、正交性）。 * * 5.2.1线性向量空间 定义：一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素集合（向量）： 一个称为向量加的操作定义为：如果 （x是X的一个元素）和 那么 x+y=y+x 。 (x+y) +z= x+ (y+z) 存在唯一一个称为零向量的向量 ，有： x+0=x * * 对于每一个向量 ，在X中只有唯一一个被称为-x的向量，满足x+(-x)=0 。 一个称为向量乘的操作定义为：对所有 的标量，以及所有的向量 ，有 。 对于任意的 和标量1，有1x=x 对于任意两个标量 和 ，以及任意的 ，有 。 * * * * 二维欧基里德空间 及其子集 如图5-1所示的二维欧基里德空间 ，全部满足上述10个条件。 的子集，如图5-2方框内的区域X，不属于向量空间。 的子集，如图5-3中的直线X。可以证明直线上所有的点均满足上述的10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。 * * 例：请证明一条经过原点的直线上点的集合构成了一个向量空间。 * * 除了标准的欧基里德空间之外，还有许多其他的集合同样满足向量空间的10个条件。 例如最高阶数小于或者等于2的多项式集合P2。此集合的两个元素是： * * 多项式集合P2是否满足是向量空间呢？ 若将两个阶数小于或等于2的多项式相加，其结果仍然是一个阶数小于或等于2的多项式，集合P2 满足条件1。 将一个标量和一个多项式相乘，不会改变其阶数，集合P2 满足条件6。 显然，验证集合P2 满足上述的10个条件并不是一件难事。 * * 5.2.2 线性无关 线性相关 如果对n个向量 而言，存在n个标量 这n个标量中，至少有一个是非零的，满足 （5.4） 那么 是线性相关的。 线性无关 如果对n个向量 ，当且仅当每个 等于零的情况下，上式才成立，那么称 是线性无关的。 * * 线性无关的实例，比如第三章中的模式识别问题。两个标准模式（橘子和苹果）由如下两个向量表示： * * 在式（5.6）只有当 时成立。所以 线性无关。 再考虑阶数小于等于2的多项式空间 中的向 量。设该空间中的三个向量分别是： 如果令 ，那么 所以，这三个向量线性相关。 * * 5.2.3生成空间 * * 维数：一个向量空间的维数是由生成该空间所需要的最少向量个数决定的。 基集：X的基集是由生成X的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。 以线性空间P2为例，该空间的一个可能的基是 任何一个阶数小于或等于2的多项式都可以通过这三个向量的线性组合表示。但请注意，P2中的任意三个线性无关的向量都可以组成该空间的一个基。比如该空间的基也可以是： * * 5.2.4内积 内积是许多神经网络操作的基础。这里将给出内积的一般定义。 * * 上述对于内积的定义并不是唯一的内积形式。比如，对定义在[0，1]区间内所有连续函数的集合C [0，1]而言，下面给出的标量函数（5.12）就是它的一种内积形式。 * * 5.2.5 范数 范数是一个基于向量长度概念的操作。如果一个标量函数 满足以下一些性质，则称其为范数： 实际上，有很多函数都可以满足上述条件。一个普通的范数是基于内积按如下方式定义的： * * * * 5.2.6 正交性 * * Gram-Schmidt正交化方法 线性无关和正交性是相互联系的。可以将线 性无关向量集合转换为一个正交向量集合， 而且两者所生成的向量空间是相同的。这个 标准的转换过程被称为Gram-Schmidt正交化 方法。