第三章 ML估计和Bayesian参数估计 Part2.ppt

最大似然估计和贝叶斯参数估计 刘芳，戚玉涛 qi_yutao@163.com 最大似然估计和贝叶斯参数估计 参数估计(parametric methods) ： 最大似然估计（ML估计） 贝叶斯估计（Bayesian估计） 主成分分析（PCA） Fisher 判别分析（FDA） 多重FDA EM算法 隐马尔科夫模型（ HMM ） 维数、精度、训练样本数 分类精度与样本特征维数和训练样本数相关。 对于两分类问题，最有用的特征是两类均值之间的距离大于标准差的那些特征。 并不是特征越多分类精度越好。 分类器设计的计算复杂度与维数和训练样本数相关。 特征选择提取 特征选择提取 有可能改善识别性能 有效降低计算复杂度 过拟合 在训练样本不足时，如何处理？——简化 降低特征维数 假设每类的协方差矩阵相同 假设训练样本独立（协方差矩阵为对角阵） 过拟合问题 成分分析和判别函数 成分分析（Component Analysis ）：寻找在最小均方意义下，最能够代表（represents ）原始数据的投影方法。——不考虑类别 判别分析（Discriminant Analysis）：寻找在最小均方意义下，最能够分开（separates）各类数据的投影方法。——考虑类别 线性投影 主成分分析（PCA ） 主成分分析（PCA ）：数据的线性投影 过多的维数会带来如下问题： “维数”灾问题 计算复杂度问题 可视化困难 解决方案 合并特征 线性合并：如 2x1+3x2+x3 （1）简单 （2）将高维特征向量投影到低维空间 PCA PCA 样本零维表示： 问题：给定 维数样本集 ，要求采用一个向量 来最好表示样本集 定义如下的平方误差： PCA PCA 样本1维表示： 问题：给定 维数样本集 ，要求采用向量 （过m的直线），来最好表示样本集 的每一个样本。 定义如下的平方误差： PCA 如何找到最优方向e？ 先引入散布矩阵（Scatter Matrix）的概念 样本的 维表示： 问题：给定 维数样本集 ，要求采用向量 来最好表示样本集 的每一个样本。 定义如下的平方误差： 主成分 第一主成分是散布矩阵S的最大特征值对应的特征向量 PCA PCA特征提取： PCA提取的特征是样本在最大方差方向上的投影。 PCA提取得特征是重构意义最优的，即具有最小的重构误差。 Fisher线性判别分析（FDA） PCA寻找的是用来有效表示数据的主轴方向（主分量）。 PCA只考虑一类样本的有效表示，如果把所有类别的样本都放在一起，则被PCA方法抛弃的那些分布方向有可能是能够把不同的类别区分开来的分布方向。 Fisher线性判别分析（FDA）寻找的是用来有效分类的方向。 FDA 对于两类别的样本集合 希望找到一个投影方向，使得样本集合中的每一类样本在该方向上的投影尽量的分开。 FDA 注意：如果各个类别的样本在原始的d维空间中就是不可分（互相混在一起）的，那么无论向什么方向的投影无法产生可分的结果，因此FDA的方法就不适用了。 FDA的目标：在线性可分的前提下，如何找到最佳的直线方向W。 一个用来衡量投影结果分离程度的度量是样本均值的差。 FDA n个d维样本集合 第一类样本集合记为D1，规模为n1 第二类样本集合记为D2，规模为n2 经过线性变换： Y=WTX 后，n个样本对应投影后的样本值为： y1，y2，……，yn FDA 第i类的d维样本均值： FDA 第i类投影样本的类内散布： FDA FDA 类似地，投影样本均值之差可以展开为： FDA 要求使J(W)最大的W，令： FDA FDA的步骤 寻找Fisher判别准则下的最佳W（计算类内总体散布矩阵Sw，再其逆矩阵 Sw-1 ，然后带入公式求W） 对样本集合作线性变换WTx，得到n个样本投影后的样本值 用一维高斯函数对投影后的样本进行拟合，选择使两类后验概率相同的那个位置W0作为两类的分界点 多重FDA 多重FDA ： 两类问题只有一个Fisher判别矢量 c类问题有c-1个Fisher判别矢量 c类问题FDA特征提取 FDA对于c类等协方差Gaussian分布在两两分类方法下是最优的。 Pattern Recognition