广义逆矩阵(Pseudoinverse)神经网络.docVIP

广义逆矩阵（Pseudoinverse） 在神经网络学习算法中的应用 早在20世纪20年代初期，E.H.Moor 就提出了广义逆矩阵的概念，但长期以来广义逆矩阵的研究却没有受到人们的注意。直到1955年，随着科学技术的迅猛发展，特别是电子计算机的出现，推动了计算科学的进步。R.Penrose又独立提出广义逆矩阵的概念后，情况才开始发生了变化。由于广义逆矩阵在测量学，统计学等多领域中得到了广泛应用，产生了巨大的推动力量，使其在之后的近四十年的时间得到了迅猛发展，形成了完整的理论体系。 广义逆矩阵 若A为非奇异矩阵，则线性方程组Ax=b的解为x=Ab，其中A的逆矩阵A满足AA=A A=I(I为单位矩阵)。若A是奇异阵或长方阵，Ax=b可能无解或有很多解。若有解，则解为x=Xb+(I-XA)у，其中у是维数与A的列数相同的任意向量，X是满足AXA=A的任何一个矩阵，通常称X为A的广义逆矩阵，用A、A或A等符号表示，有时简称广义逆。当A非奇异时，A也满足A AA=A，且x= Ab+(I- AA)у= Ab。故非异阵的矩阵就是它的逆矩阵，说明矩阵确是通常逆矩阵概念的推广。 1955年R.彭罗斯证明了对每个m×n阶矩阵A，都存在唯一的n×m阶矩阵X，满足：①AXA=A；②XAX=X；③(AX)＝AX；④(XA)＝XA。通常称X为A的穆尔-彭罗斯广义逆矩阵，简称M-P逆，记作A。当A非奇异时，A也满足①～④，因此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组Ax＝b的最小二乘解中，x＝Ab是范数最小的一个解。 　　若A是n阶方阵，k为满足（图1）的最小正整数（rank为矩阵秩的符号），记作k=Ind(A)，则存在唯一的n阶 方阵X，满足： (1) AkXA=Ak；(2) XAX=X； (3) AX=XA。 通常称X为A的德雷津广义逆矩阵，简称D逆，记作Ad，A(d)或AD等。虽然 它和线性代数方程组的解无关，但它在线性差分方程、线性微分方程、最优控制等方面都有应用。 Ab 但是在一般情况下，A不是n阶方阵或者在n阶方阵的条件下，矩阵的秩小于n 。方程（2-1）有解的充要条件是 rank(A)=rank(A b) (2-2) 自然人们会想到，是否也存在某个矩阵G，把解表示为 x=Gb (2-3) 的形式，此式中的G必定与A具有某些行联系。 通过前人的研究不难发现，式2-3中的G应满足 AGA=A (2-4) 一般G不是唯一的。这样我们就找到了通过求取矩阵的广义逆矩阵解线性方程组的方法。这个方法在神经网络感知机的学习算法中被应用，Pseudoinverse学习算法也成为一种经典的算法，下面就介绍这种算法。 人工神经网络 人工神经网络也简称为神经网络或称作连接模型，是对人脑或自然神经网络若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。 国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。” 这一定义是恰当的。 神经网络的发展无疑和网络的拓扑结构以及多样的适应性强的学习算法是分不开的，生物神经网络无疑是极其复杂的，但是在实际工程应用当中，我们对生物神经网络做了简化和抽象，其主要的组成元素为网络节点下所示 人工神经网络节点 其中，x为神经元的输入，w为各输入的权值，b为外部输入，在神经元的第一级加权求和，在经过f处理函数从神经元输出。 神经元构成的人工神经网络 单层神经网络 对上神经网络结构的数学描述 (3-1) (3-2) (3-3) 神经网络学习算法就是找到最优的权值w，使目标输出ａ=f(WP)和正确值相等。这个寻找求解的过程这就是所谓的用训练样本来训练神经网络的过程。 Pseudoinverse学习算法 神经网络学习的过程实质就是利用训练样本不断调整神经元之间的连接权，使其在错误中不断提高处理性能。所谓的训练样本