06凸优化理论与应用_统计估计概述.ppt

信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 凸优化理论与应用 第6章 统计估计 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 概率分布的参数估计 问题描述 若似然函数为凹函数，则优化问题为凸优化问题。 随机变量的概率密度为 ，其中 为概率分布的参数，且参数未知。参数估计的目标就是通过一些已知样本估计获得参数的最优近似值。 为样本观测值； 为对数似然函数； 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 具有独立同分布噪声的线性测量 线性测量模型： 为观测值或测量值； 为未知参数向量； 独立同分布噪声，其概率密度为 。 似然函数为 最大似然估计问题为： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 例 高斯白噪声 对数似然函数： 区间 上均匀分布的噪声： 对数似然函数： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 逻辑回归 随机变量 的概率分布为： 为参数； 为可观测的解释变量； 为观察值。 对数似然函数： 最大后验概率估计（MAP） 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 待估计值 和观察值 都是随机变量，其联合概率密度函数为： Bayes公式： MAP： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 假定测验 随机变量 ，有 种可能（假定）的分布； 假定 ： 的概率分布为 假定测验的目标：由观察值猜测随机变量最有可能服从哪种假定的分布。 当 时，称为二元假定测验。 随机检测子：非负元素矩阵 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 假定测验 检测概率矩阵 为当 实际服从第1种假定分布而猜测为第2种假定分布的概率； 为当 实际服从第2种假定分布而猜测为第1种假定分布的概率； 多目标优化形式： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 假定测验 尺度优化形式： 最小最大值形式 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 例 在两种假设下的概率分布为： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 例 例 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 实验设计 最大似然估计值： 线性测量问题 独立同分布高斯白噪声，服从分布 。 估计误差 均值为0，方差为 信赖椭圆为 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 实验设计 向量优化形式： 为整数问题，求解较困难。 实验设计的目标：寻找 ，使得误差的方差矩阵最小。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 实验设计 当 时，令 近似为一连续实数，原问题可松弛转换为连续实数优化： * 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn *