系统辨识第5章 统计学方法预备知识 (精简版)杨骏涛.doc

第5章 统计学方法预备知识 1概率统计基本知识 随机变量的概念：如果一个变量，在实验的结果中，可能取这个数值或那个数值，但不能预先知道取哪一个数值，则这样的变量称为随机变量。随机变量分为离散型和连续型两类。 随机变量的概率分布：要完全描述一个随机现象的特性，就需要知道在实验中各种可能结果出现的机会是多少，即随机变量的概率分布． 对于离散型随机变量，其概率分布为：， 连续型随机变量x的概率分布是一个函数．记为： 概率密度，定义为： 二位随机变量：称两个事件Xx，Yy同时实现的概率为随机变量（X,Y）的概率分布，即： 二维随机变量的概率密度： 均值：有时也称为数学期望，它表示大量重复某一实验，其结果的平均。分为离散型均值和连续性均值。 离散型随机变量X的均值定义为： 连续型随机变量X的均值定义为： 方差：也记作VarX,，它表示分布特性，即随机变量的可能取值与均值的偏离程度，方差越小，则分布越集中于均值附近，方差VarX的平方根称为X的均方差（或标准差），记作。 离散型随机变量X的方差定义为： 连续型随机变量X的方差定义为： 离散型随机变量的协方差定义为： 连续型随机变量的协方差定义为： 随机函数：依赖于一组参数（包括时间）的随机变量 随机过程：由随机函数表述的物理过程 随机函数的概率分布函数：随机函数的概率特性由分布函数和密度函数来描述，设某一随机过程，其中，其联合概率分布函数为： 其联合概率密度函数为： 2 最小二乘法的一般原理 最小二乘法通过最小化误差的平方和来寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 输入量为，系统待估计的参数为，输出量为y,则系统输入、输出和参数三者的关系可以用如下的线性方程式来表达：。向量式为：Y=Xθ。其中： 实际中模型总有误差，所以更精确的表示为：Y=Xθ+e。其中： 表示误差向量，又称为残差。按照最小二乘法的原理，θ的决定就是要使残差的平方和为最小,即J=eTe最小。 曲线拟合：对于给定的一组数据,要求在给定的函数类中 找到一个函数 (nm) 使满足 这里： 这种求逼近的方法就称为曲线拟合的最小二乘法.函数类一般可取比较低次的多项式集合或其它较简单的函数类. 实用中,为了使问题提法更具有一般性,常对最小二乘法中加权平方,即 其中,是上给定的权函数,它表示不同的点地位的强弱,例如点处的权可以用来表示数据在实验中重复的次数,也可以用来表示数的准确度,越准确,它的地位越重要,从而权也越大.满足关系式 称为上述最小二乘问题的最小二乘解。