过程控制技术第5章2.pptVIP

由式（ 5-33 ），有下列矩阵形式： Y ? ?? ? Ξ 由于真实的参数向量 ? 并不知道，不妨用 ? ? 来表示它的估计值，于是，基于 ? ? 的输出估计为 ? ( k ) ? ? T ( k ) ? ? y $ 式中， θ T $ $ $ $ $ $ ? a 1 , a 2 , L , a n a , b 0 , b 1 , L , b n b ? ? （ 5-34 ） 现在定义残差 ? ( k ) （也是一随机变量）为实际输出与估计输出之差： ? ( k ) ? ? T ( k ) ? ? ? T ( k ) ? ? ? ? ( k ) ? ? T ( k )( ? ? ? ? ) ? ? ( k ) ? ( k ) ? y ( k ) ? y 对于 k ? 1 , 2, L , N ，则有 ? ? ? ( ? ? ? ? ) ? ? ? Y ? ?? ? 其中 ? T ? ? ? (1) ? (2) L ? ( N ) ? ? R 1 ? N 。 现在的任务是：求使目标函数 ? ) J ? ? T ? ? ( Y ? ? ? ? ) T ( Y ? ? ? 为最小的 ? ? （记为 ? ? LS ）。 展开上式，有 ? ? ? ? T ? T ?? ? J ? Y T Y ? 2( ? T Y ) T ? 由求极值的方法，对 ? ? 求一阶导，并令其为零 ? J ? ? 2 ? T Y ? 2 ? T ?? ? ? 0 ? ? ? 从而有 ? ? ? ? ? LS ? ( ? T ? ) ? 1 ? T Y （ 5-35 ） 由于二阶导 ? 2 J T ? 2 ? ? ? 0 2 ? ? ? 所以由式（ 5-35 ）求得 ? ? LS 的为极小值。式（ 5-35 ）即为批处理法的最小二乘估计。 最小二乘估计的统计特性讨论： 由于 ? ( k ) 为白噪声序列，故有 E ? Ξ ? ? 0 Τ 2 E ΞΞ ? ? I ， ? ? （ 1 ）无偏性：使 J 为最小的参数估计向量 ? ? LS 的数学期望为参数真值向量，即 E ? ? LS ? ? ? ? 这是因为 E ? ? LS ? E ( ? T ? ) ? 1 ? T Y ? ( ? T ? ) ? 1 ? T E ? ?? ? ? ? ? ? ? ? ? ? 它揭示最小二乘参数估计是围绕参数真值波动的统计性质。 （ 2 ）估计误差（偏差）协方差 T $ $ E ( ? ? ? 2 ? Τ ? LS ? ? )( ? LS ? ? ) ? ? ? ? ? 1 主对角线上各元表现参数估计的散度，非对角线上各元反映参数估计 ? ? LS 分量相互影响程度或相 关性大小。 上式的成立，是因为 $ $ E ? LS ? ? ? LS ? ? ? ? ? ? ? ? ? E ? ? ( ? ? ) T T ? 1 ? Y ? ? ( ? ? ) ? Y ? ? T ?? T ? 1 T ? T ? ? ? ? ? ? ? ? T ? ? ? 1 ? T E ( Y ? ?? )( Y ? ?? ) T ? ( ? T ? ) ? 1 T 2 ? ? ? T ? 1 ? ? I ? ? ? ? T ? ? 1 ? ? 2 ? ? ? ? T T ? 1 （ 3 ）最小方差估计：设 ? ? 为 ? 的任一其他线性无偏估计，则 $ $ E ? LS ? ? ? LS ? ? ? ? ? ? ? ? ? $ $ ? E ( ? ? ? )( ? ? ? ) T ? 即最小二乘估计是最小方差估计，也就是参数估计 ? ? LS 离参数真值 ? 最近。 由于 ? ? 为 ? 的任一线性无偏差估计，所以 ? ? 可表示为 ? ? ? PY ? ? ? P E ? Y ? ? P ? ? ，即 式中， P ? R ( n ? n ? 1) ? N 。 由于， ? ? E ? ? a b P ? ? I 从而 $ $ $ $ E ? ? E{ ? } ? ? E{ ? } ? ? ? ? ? ? ? T ? E ( PY ? P ? ? )( PY ? P ? ? ) T ? P E ( Y ? ? ? )( Y ? ? ? ) T P T ? ? 2 PP T ? ? ? 因为 0 ? [ P ? ( ? T ? ) ? 1 ? ][ P ? ( ? T ? ) ? 1 ? ] T ? PP T ? ( ? T ? ) ? 1 所以 ? 2 PP T … ? 2 ( ? T ? ) ? 1 $ $ E ? ? ? ? ? ? ? ? ? ? ? ? T $ $ … E ? LS ? ? ? LS ? ? ? ? ? ? ? ? T （ 4 ）一致收敛性：若 1 ( ? T ? ) ?