第二讲估计方法.pptVIP

第31页，共64页，星期日，2025年，2月5日1-4最小二乘估计从总体中抽出的样本观测值与总体平均数是有差异的，这种差异属于抽样误差。因而，在总体平均数估计时要尽可能地降低这种误差，使总体平均数估计值尽可能好。参数估计的最小二乘法就是基于这种考虑提出的。第32页，共64页，星期日，2025年，2月5日基本思想：是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况。具体方法：是为使误差平方和Q为最小，可通过求Q对待估参数的偏导数，并令其等于0，以求得参数估计量。第33页，共64页，星期日，2025年，2月5日设被估计量（未知的参数向量）为X，观测向量为L，观测误差为△，观测方程为：设X的估值为，并记：所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：则称为X的最小二乘估值记为。第34页，共64页，星期日，2025年，2月5日最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛的应用，主要原因：数理统计观点-需要观测向量的验前统计信息最少；数学观点-提供了最优的解一组多余观测的线性代数方程的方法；数值计算角度-最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。第35页，共64页，星期日，2025年，2月5日但要保证最小二乘估计求出估值是最优估值，要求：即：1、表示L中不含系统误差和粗差；2、权阵P应由L或△的协方差确定(这时，X必需是非随机参数，否则不会相等的！）。第36页，共64页，星期日，2025年，2月5日极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；参数是非随机的。第37页，共64页，星期日，2025年，2月5日1-5极大验后估计极大验后估计则是以为准则的估计方法。[随机参数向量X在的条件下的条件概率密度]一般用表示由极大验后估计得到的最佳估值，并称之为极大验后估值。同理，下方程：称之为验后方程。第38页，共64页，星期日，2025年，2月5日例：设有观测值观测方程为，其中参数X与观测误差△均为相互独立的正态随机变量,且有,试求X的极大验后估值。解：第39页，共64页，星期日，2025年，2月5日当X和L均为正态随机向量时，此时条件概率密度为：其中：则极大验后准则等价于第40页，共64页，星期日，2025年，2月5日求一阶偏导数，并令其等于零，得：故，极大验后估值为：由协方差传播律可得，估值的误差方差阵为：其中：第41页，共64页，星期日，2025年，2月5日（极大验后估值、估值的估计误差方差）例：如果X和L有如下的观测方程则带入验后估值公式可得：第42页，共64页，星期日，2025年，2月5日不难看出：极大验后估计考虑了参数的X的先验统计特性，改善了最小二乘估计，故估值的精度比最小二乘估值的精度要高。第43页，共64页，星期日，2025年，2月5日1-6最小方差估计最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优估值。记X的最小方差估值为。第44页，共64页，星期日，2025年，2月5日估计误差为误差方差阵为当时候的就是最小方差估值参数的最小方差估值为：第45页，共64页，星期日，2025年，2月5日不难看出：极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是L的任意函数；最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线性函数。第46页，共64页，星期日，2025年，2月5日1-7线性最小方差估计线性最小方差估计是放宽对概率密度的要