第六章范数与极限.pptVIP

在 中， 定义内积 （满足三条公理） ，则 按范数是完备的内积空间——Hilbert空间 例2 范数 L2[a,b]指的是平方可积函数的集合，按照函数的加法和数乘构成线性空间：其一组基最常用的是三角函数系 例3 在 定义内积 （满足三条公理） l 2是Hilbert空间。称为平方可和空间 范数 是内积空间U中的标准正交基 则对于?x?U ，x在M上的投影 并且 标准正交基的性质 1.设 通常称 x0的长度 为Bessel不等式。 即x在M上的投影 2.推广到无穷维： 是U中的标准正交基，则对?x?U有 设 3.最佳逼近定理 设 是U中的标准正交基， x?U， 则对于任意 一组数， 恒有 （***） 该定理说明：U中的任意元x，当用 作有限维线性组合去逼近时，以 为最好逼近元，其中线性组合系数(x,ei ) 可见在有限维线性子空间M中求U中x的最佳逼近元等同于求投影。 称为Fourier系数。 标准正交基的完全性及完备性 是内积空间U中的标准正交基 , 当且仅当 时， 则称L={ei}是完全的。 1.定义 设 （1）若对于?x?U 此式称为巴塞弗（Parseval）等式，也称为广义“商高定理” （2）若对于?x?U，都有 则称L={ei}是完备的。 定理2 H空间中任意两个完全标准正交基 和 具有相同的基 之间存在一一对应的关系）。 （即 定理3 无穷维H空间可分的 H中存在完全标准正交基。 注：H可分：在H中存在可数子集D，使得H中的每个元素都是D中元素序列的极限。 定理4 无穷维可分的H空间必与l 2空间线性及内积同构。 即：存在H到l 2的一一映射? ，使其保持线性运算及 内积相等，即 例如：可取 则?是由H到l 2的一一映射，并且H与l 2线性及内积同构。 特别的，当H中的完全标准正交基为有限集 时，则H与R n同构，可取映射 由此可知，欧氏空间R n可看作有限维H空间的模型，平方可和空间l 2可以看作无限维H空间的模型。从而把对可分的H空间的研究转化为对Rn或l 2的研究。 例如： 是可分的H空间，要研究 中的函数，只要研究该函数的傅立叶系数就够了。 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 SVM 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于R（m）,nm。根据核函数技术有： K(x,z) =Φ(x),Φ(z) (1) 其中：, 为内积,K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。 如何定义K(x,z)？ mercer定理：充要条件K(x,z)是对称半正定矩阵 由于n阶矩阵可以看成n?n向量，所以矩阵序列的收敛问题可以和向量序列的收敛问题一样考虑。 §3 矩阵序列与矩阵级数 定义1 设矩阵序列{A (k) } ，其中 如果mn个数列 都收敛，则称矩阵序列 {A (k) }收敛。 进一步，如果 那么我们称矩阵 为矩阵序列 的极限。 记为 例1 定理1 矩阵序列 收敛于A的充分必要条件是 其中 为任意一种矩阵范数。 （1）一个收敛的矩阵序列的极限是唯一的。 （2）设 矩阵序列的极限运算性质 （5）设