协方差与协方差矩阵.docVIP

协方差与协方差矩阵 协方差是统计学上表示两个随机变量之间的相关性，随机变量的离差与随机变量的离差的乘积的数学期望叫做随机变量与的协方差（也叫相关矩），记作： ,记为 对于离散随机变量，我们有； 对于连续随机变量，我们有，随机变量的协方差用来描述随机变量之间的相关性，我们指出，独立随机变量的协方差等于零，即如果与 独立，则 0. 如果与相同，则协方差就是变量的方差。在统计学与概率论中, 协方差矩阵是一个矩阵，这是从标量随机变量到高维度随机向量的自然推广。协方差矩阵对于多元随机变量，一般是对于一个多维随机变量来讲的，表现的是随机变量X各个元素分量（为1维随机变量）之间的相互关系，每一项都对应着其中两个变量的协方差，组合起来就是协方差矩阵了,比如 一个n维的随机变量X,其协方差矩阵之第ij个元素即为E[ Xi-E Xi * Xj-E Xj ],Xi和Xj分别表示X的第i个和第j个元素分量。 比如：随机变量x和y，为它们的协方差矩阵，为随机变量i和j的协方差， ，其中， ，，N为扫描数据点个数。现实中，由于测量值受噪声干扰，假设它们分别服从高斯白噪声分布且互相独立，方差分别为和，则： 补充知识： 数学期望：随机变量的一切可能值与对应的概率的乘积的和叫做随机变量的数学期望，记作。数学期望从几何意义上来说，就是分布曲线与x轴之间的平面图形的重心的横坐标，它是反映均值的问题。 离差：叫做随机变量的离差。 方差：随机变量的离差的平方的数学期望叫做随机变量的方差，记作，也记作 ，，于是，对于离散随机变量，我们有。 对于连续随机变量，我们有，由方差的定义可知，随机变量的方差总是一个正数，显然，当随机变量的可能值密集在数学期望的附近时，方差较小，在相反情况下，方差较大。所以，由方差的大小可以推断随机变量分布的分散程度。方差是反映了随机变量的一切可能值在数学期望周围的分散程度。