补充3：估计理论.pptVIP

2、克拉美－罗限 Cramer-Rao Low bound 无偏估计量的估计方差的最小值 ? 随机参量 如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价. 例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立观测zi A+vi,i 1,2,….N，其中v~N 0, ，A~ ，求A的估计的CRLB。 1、线性最小均方估计 linear minimum mean square error estimation 前提：不知道 ，知道 的一、二阶矩特性 准则：使均方误差最小的线性估计 实现： 选择适当的系数ai及b，使估计均方误差最小。 正交条件 正交条件是信号最佳线性滤波和估计算法的基础，在随机信号处理中占有十分重要的地位。 性能分析： ?线性最小均方估计为无偏估计，即有： ?线性最小均方估计的均方误差等于误差与被估计量乘积的统计均值，即： 其中： 例1、设观测模型为zi s+vi ，i 1,2,..，其中随机参量s以等概率取 -2,-1,0,1,2 诸值，噪声干扰vi以等概率取 -1,0,1 诸值，且E[svi] 0， ，试根据一次、二次、三次观测数据求参量s的线性最小均方估计。 1、最小二乘估计（Least square estimation） 前提：适用于线性观测模型； 不规定估计的概率或统计描述； 需要关于被估计量的观测信号模型 ; 准则：使观测与估计偏差的平方和最小。 假定观测模型为线性，即观测数据zk与参量?1， ?2，…， ? M之间服从： 其中hk1，hk2，…，hkM为已知常系数。 将观测方程用矢量及矩阵表示： 最小二乘估计是使观测与估计偏差的平方和最小，即： 最小二乘估计为： 加权最小二乘估计为： 信号处理的根本任务是要提取有用的信息，有用信息是通过检测、估计的方法对信号进行处理后提取出来的，所以、检测、估计的信号处理方法是信号处理技术的理论基础，它的应用领域十分广泛。 声纳系统----利用声波信号确定船只的位置 图象处理----使用红外检测是否有飞机出现 图象分析----根据照相机的图象估计目标的位置和方向，用机器人抓目标时是必须的 生物医学----估计胎儿的心率 控制----估计汽艇的位置，以便采用正确的导航行为，如Loran系统 地震学----检测地下是否有油田，并根据油层和岩层的密度，根据声反射来估计油田的地下距离。 所有这些问题都有一个共同的特点，那就是从含有噪声的数据集中去提取我们所需要的有用信息，这些有用信息可能是“目标出现与否”、“数字源发射的是0还是1”或者“目标的距离”、“目标的方位”，或”目标的速度”等，由于噪声固有的随机性，因此，有用信息的提取必须采用统计的方法，这些统计方法的基础就是检测理论与估计理论，就是本课程后续章节学习的内容。 1 估计的基本概念 2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小 3 最大似然估计：使似然函数最大 4 估计量的性能 5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的 线性估计 6 最小二乘估计：观测与估计偏差的平方和最小 7 波形估计 估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计； 根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，称为信号的参量估计问题，又分为点估计和区间估计； 根据观测样本对随时间变化的信号作出波形估计，又称为过程估计。 信源s ? P ? 混合 P n n 估计规则 估计 ? z 观测空间 信号参量估计的统计推断模型 估计问题基本要素 概率传递机制 估计准则 1、贝叶斯估计 在已知代价函数及先验概率基础上，使估计付出的平均代价最小。 设观测值为z，待估参量为?。 估计误差： 设代价函数： 贝叶斯估计准则： 条件平均代价 统计平均代价： 等价于使下式最小： 2、典型代价函数及贝叶斯估计 平方代价： 绝对值代价： 均匀代价： ? 最小均方估计 Minimal Square 对 求导数，并使其等于零： 得： 即 ，也称为条件均值估计。 平方代价： ?条件中位数估计 Median 对 求导数，并使其等于零，得： 可见，估计为条件概率密度 的中位数。 绝对值代价： ?最大后验概率估计 maximal posterior probability 应当选择 ，使它处在后验概率 的最大处。 最大后验概率方程： 或 均匀代价： 由关系式： 两边取对数并对?求导，得最大后验概率方程的另一形式： 例1设观测为 ，其中被估计量A在[-A0,A0]上均匀分布,测量噪声