矩阵与范数—扫盲答题.doc

矩阵与范数、谱半径、奇异值 矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性 空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协 方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。而一系列的 分解则可以方便方程的数值计算。作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之 间的关系。 ???首先介绍的是线性空间，对于线 性空间中的任意一个向量的表示有基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身 也应该尽可能的简洁，那么就得到了基定义的两点约束：１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。 ???基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。 ???在完成了线性空间这一对象的认 识和表达之后，下面需要研究对象和对象之间的关系。这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵 涉到表达的问题。为了保持与空间的一致性，我们也同样是在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然 也不相同，这里的不同的变换矩阵的关系就是相似的概念。 到此，我们完成了空间中向量的表示和线性变换的矩阵表达。这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组成成分之间的关系，也就是空间的结构性方面的东西。 首先认识子空间（空间的组成部分），当然既然也是空间，也就要满足空 间的加法和数乘的封闭性，要满足那八条定律。后者可以由父空间保证，前面的就要子空间自身素质了。同时要看子空间之间的并、交、直和运算和相应的秩的关 系。这里提到了维数，就要多说几句了，空间中的元素往往是连续过渡的，但是对于有限空间而言还有离散的性质，那就是维数，我称其为“不伸则已，一伸则增 一”，从这也就说明了为什么可以用若干个子空间的直和可以等价于原线性空间。 ?????子空 间的形式很多，有生成子空间、值域空间、零空间（木木先生注：此处指核空间）和特征子空间等等，我们重点看看特征子空间。一个空间可以划分为若干个特征子 空间的直和形式，而每个特征子空间的共同特征就是具有相同的特征值，范围就是对应着这个特征值的若干特征向量的生成子空间。 为什么要这样划分？因为我们在平时的研究中，整个线性空间太大了，我 们需要缩小研究范围，某一个或几个特征子空间就够了。或者是模式分类时，每一个样本点就属于某个子空间，我们首先需要知道有哪些类，类的特点是什么，这就 是特征子空间。当然对于协方差矩阵而言，特征值还具有能量属性，在清楚各个特征子空间的位置后，我们可以通过某些变换改变这些子空间的空间分布。在系统研 究中，还可以在清楚特征子空间分布后成功地实现系统或方程的解耦。呵呵，可能其用途很多很多，但关键的一点就是，我们必须认识空间的结构，在此基础上再结 合对应的物理空间或几何空间的实际意义进行进一步的处理。 ???人心苦不足，在知道了上面的东 西之后，大家在想，可视的二维平面和三维立体空间中，为了研究向量的长度及向量和向量之间的角度，提出了内积的概念，在线性空间中，人们也对内积的概念作 了延拓，于是将原先的线性空间添油加醋改装成了内积空间（分为实数的欧式空间和复内积空间），这里的油醋就是以下的四点：1、交换律；2、分配律；3、齐 次性；4、非负性。向量自身的内积开二次根得到长度，两个向量内积除以两个向量的长度得到角度的余弦。所有这些都是与可视空间中的性质是一致的（可以参阅 《由相容性想到的》）。这里要注意的是，它只给出了内积的约束，但在具体的向量空间中内积的计算形式却没有硬性规定，要想量化内积，很自然地就是要知道， 量化的标准是什么，这就引出了度量矩阵（结合具体的内积计算式，计算得到的基的内积构成的矩阵）的概念。考虑到内积的非负性和交换律，度量矩阵必须是对称 正定矩阵。这里也和前面一样，度量矩阵是在一定基下定义的，当基变化了，度量矩阵也会发生改变，相同的内积定义式在不同的基下得到的度量矩阵是合同的，呵 呵，又多了一个概念。而且，对