[信息与通信]chap6-其他类型辨识方法part1.pdfVIP

回顾：最小二乘法 若从平均数为μ 的总体中抽得样本为y 1、y 2、y 3、…、yn ， 用最小二乘法求总体平均数的估计量。 2012-11-1 1 回顾：最小二乘法 用最小二乘法求总体平均数的估计量: μ 若从平均数为 的总体中抽得样本为y 1、y 2、y 3 、…、yn ， μ 则观察值可剖分为总体平均数 与误差ei之和， y i μ +ei 总体平均数的最小二乘估计量就是使yi 与μ间的误差平方和 n 为最小，即 2 ˆ 2 Q ∑ei ∑(y i −μ) i 1 为最小。 μ 为获得其最小值，求Q对 的导数，并令导数等于0，可得： ∂Q n ˆ −2 (y −μ) 0 ∑ i ∂μ i 1 即总体平均数的估计量为： ˆ 1 n μ ∑y i n i 1 2012-11-1 2 第6章：其他类型辨识方法 极大似然法 基本思想 : 构造一个以观测数据和未知参数为自变量 的似然函数, 并通过极大化这个似然函数, 获得模型 的参数估计值。 (模型输出的概率分布将最大可能地逼近实际过程 输出的概率分布.) 概率密度函数f(x) ：分布函数F(x)在x处的关于x的 一阶导数，即变化率。如果在某一x附近取非常小的一 个邻域Δx，那么，随机变量X落在 (x, x+Δx)内的概 率约为f(x) Δx，即P(xXx+ Δx)≈f(x) Δx。 换句话说，概率密度f(x)是X落在x处“单位宽度” 内的 概率。 2012-11-1 3 第6章：其他类型辨识方法 极大似然法 设: z是一个随机变量其概率密度, f z ,θ 取决于未知参数θ. ( ) 目的: 根据的N个观测值zz { i,i 1, 2,,N }, 确定θ的估计值. 似然函数L θ : 观测值 z ,z ,,z 和θ的函数. ( ) { 1 2 N } 令:L θ 是观测量所具有的联合概率密度z g z ,z ,,z ,θ ( ) ( 1 2 N )