第三章向量范数与矩阵范数讲述.pptx

1;2;3;4;5;6; ，当且仅当 时，等号成立。;8;定义 　如果 是数域 上的线性空间，对 中的任意向量 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：;拓扑空间;11;例 3 设 是内积空间，则由;例 4 在赋范线性空间 中，定义任意两向量之间的距离为;例 5 对任意 ，由;例 6 对任意 ，由;例 7 对任意 ，由;常见向量范数：举例 ;遗憾的是，当 时，由;例 8 对任意 ，由;证明： 验证 是向量范数显然很容易。下证 。;这些范数在几何上如何理解呢？;例 10 对任意 ，由;定义的 是 上的向量范数，称为加权范数或椭圆范数。 ;由于 为Hermite正定矩阵，故存在酉矩阵 ，使得;一般地，由于 是Hermite正定矩阵，从而有可逆矩阵 （未必是酉矩阵），使得 ，因此;为李雅普诺夫（Lyapunov）函数，这里 是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。;例 12 （模式识别中的模式分类问题）;其他距离测度还包括;以及与椭圆范数类似的Mahalanobis距离：;30;31;定理 　Euclid范数是酉不变的，即对任意酉矩阵 以及任意 ，均有;注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。; 向量是特殊的矩阵， 矩阵可以看成一个 维向量，因此自然想到将向量范数推广到矩阵范数。;35;36;37;矩阵不仅仅是向量，它还可以看成变换或算子。 实际中，从算子或变换的角度来定义范数更加有用。; 由矩阵范数的正齐性可知 的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在 下的像来定义矩阵范数，即;40;求矩阵A的各种常用范数;特征方程为;;同样给出这些范数在几何上的理解。;定理 　 上的谱范数具有下列性质：;(1);(2);定理 上的矩阵F--范数和谱范数都是酉不变的，即对任意酉矩阵 ，恒有;即;对于谱范数， 这个定理的结论可以推广到列正交酉矩阵，即 的情形，此时仍然成立;53;54;55;56;57;58;59;60;61;62;向量范数的应用;?监督机器学习问题无非就是也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。;?一般来说，监督学习可以看做最小化下面的目标函数： ;L0范数与L1范数 ; L1是规则化的算子，我们将权值参数以L1的方式放到代价函数里面去。然后模型就会尝试去最小化这些权值参数。而这个最小化就像一个下坡的过程。; L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。;稀疏的原因;L2范数 ;上面的图是线性回归，从左到右分别是欠拟合，合适的拟合和过拟合三种情况。 ;Logistic回归;L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。 ;?L2范数的好处 ;优化两大问题;ill-condition病态问题;ill-conditioned系统的???对系数矩阵A或者b太敏感了。又因为一般我们的系数矩阵A和b是从实验数据里面估计得到的，所以它是存在误差的，如果我们的系统对这个误差是可以容忍的就还好，但系统对这个误差太敏感了，以至于我们的解的误差更大，那这个解就太不靠谱了。 ;condition number ;?如果方阵A是非奇异的，那么A的c