回顾-东南大学计算机科学与工程学院.pdfVIP

回顾 • 极小化极大准则 • 在先验概率未知的情况下，设计风险较小的分类器 • 使先验概率取任何一种值时所引起的总风险的最坏情况尽可能 小 • 判别函数 • 基于判别函数的判决规则 如果 ，则模式为 回顾 • 判决区域和判决边界 • 多元高斯概率密度函数 • 假设类条件概率密度满足高斯分布 • 贝叶斯决策的判别函数 • 贝叶斯决策的判决面 • ROC 曲线 Ch 03. 参数估计 最大似然估计 EM算法 Part 1 最大似然估计 模式分类的途径 • 途径1：估计类条件概率密度 • 通过 和 ，利用贝叶斯规则计算后验概率 ，然后 通过最大后验概率做出决策 • 两种方法 • 方法1a：概率密度参数估计 基于对 的含参数的描述 • 方法1b：概率密度非参数估计 基于对 的非参数的描述 • 途径2 ：直接估计后验概率 • 不需要先估计 • 途径3：直接计算判别函数 • 不需要估计 或者 概率密度函数估计与参数估计 • 参数估计基于对 用已知函数形式的参数化表 示 • 估计未知概率密度函数 的问题被简化为估计 已知函数形式中的未知参数 • 中的所有未知参数可以写成向量形式，称为 参数向量 ，含有未知参数的概率密度函数 可以表示为 • 高斯密度函数中的参数向量 贝叶斯决策中的参数估计 • 贝叶斯决策为最优决策（最小总风险、最小误差 概率） • 前提条件 • 已知先验概率P () i • 已知类条件概率密度 p (x | ) i • 不幸的是…… • 多数情况下，先验概率和类条件概率密度未知 • 我们可利用的…… • 有关模式识别问题的一些模糊而笼统的知识 • 一些设计样本（训练样本），构成待分类的模式的一个 特定的子集，作为该模式的代表 贝叶斯决策中的参数估计 • 解决方案 • 假设类条件概率密度为某种含参数的概率密度分布函数 ，通过训练数据来估计该函数中未知的参数 • 将参数估计后的概率密度函数作为类条件概率密度，利 用贝叶斯决策进行分类 • 有监督学习 • 训练集中每个样本的真实类别已知 参数估计方法 • 最大似然估计（ML估计） • 假设 • 将待估计的参数看作确定的量，只是值未知 • 估计方式 • 将使得产生训练样本的概率最大的参数值作为这些参数的最佳估计 • 贝叶斯估计（贝叶斯学习） • 假设 • 将待估计的参数看作符合某种先验概率分布的随机变量 • 估计方式 • 通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度 参数估计方法 • ML估计与贝叶斯估计的关系 • ML估计通常比贝叶斯估计简单 • ML估计给出参数的值，而贝叶斯估计给出所有可能的 参数值的分布 • 当可用数据很多以至于减轻了先验知识的作用时，贝叶 斯估计可以退化