2041 统计决策理论.pdf

第二十章 第二十章 模式识别：分类与估计 模式识别：分类与估计 主要内容 主要内容 分类 分类 特征选择 特征选择 统计决策论——贝叶斯决策论 统计决策论——贝叶斯决策论 两大参数估计法：最大似然估计和贝叶斯参 两大参数估计法：最大似然估计和贝叶斯参 数估计 数估计 其他模式识别方法：神经网络 其他模式识别方法：神经网络 比例估计 比例估计 分类 分类 特征提取 特征提取 特征：对象的特殊属性 特征：对象的特殊属性 特征向量：特征的描述参数 特征向量：特征的描述参数 方法：列出特征表用排除方法计算不同特征的相对概 方法：列出特征表用排除方法计算不同特征的相对概 率，然后选取 率，然后选取 良好的特征的特点：可区别性，可靠性，独立性，数量 良好的特征的特点：可区别性，可靠性，独立性，数量 少。 少。 分类器的设计 分类器的设计 逻辑结构：（分类规则）相似程度 逻辑结构：（分类规则）相似程度 分类规则的数学基础：（阈值规则）特征空间 分类规则的数学基础：（阈值规则）特征空间 分类器的训练 分类器的训练 基本方法：用一组已知的对象来训练分类器 基本方法：用一组已知的对象来训练分类器 目的的区分：1、分类错误的总量最少 目的的区分：1、分类错误的总量最少 2、对不同的错误分类采用适当的加权使 2、对不同的错误分类采用适当的加权使 分类器的整个“风险”达到最低 分类器的整个“风险”达到最低 偏差：分类错误 偏差：分类错误 分类器的性能测试 分类器的性能测试 已知类别的测试集；已知对象特征PDF的测试集 已知类别的测试集；已知对象特征PDF的测试集 PDF的获取：画出参数的直方图，并计算均值和方差， PDF的获取：画出参数的直方图，并计算均值和方差， 再规划到算法面积，需要的话再做一次平滑，就可将这 再规划到算法面积，需要的话再做一次平滑，就可将这 个直方图作为相应的PDF设计 个直方图作为相应的PDF设计 独立每一类别的测试集 独立每一类别的测试集 使用循环的方法 使用循环的方法 特征选择 特征选择 特征选择可以看作是一个(从最差的开始)不断删去 特征选择可以看作是一个(从最差的开始)不断删去 无用特征并组合有关联持征的过程，直至特征的数 无用特征并组合有关联持征的过程，直至特征的数 目减少至易于驾驭的程度，同时分类器酌性能仍然 目减少至易于驾驭的程度，同时分类器酌性能仍然 满足要求为止。例如，从一个具有M个特征的特征 满足要求为止。例如，从一个具有M个特征的特征 集中挑选出较少的N个特征时，要使采用这N个特 集中挑选出较少的N个特征时，要使采用这N个特 征的分类器的性能最好。 征的分类器的性能最好。 特征方差 特征方差 特征相点函数 特征相点函数 类间距离 类间距离 降维 降维 统计决策理论 统计决策理论 —— 贝叶斯决策论 —— 贝叶斯决策论 以鱼的分类为例 以鱼的分类为例 每条鱼只能属于：鲈鱼或者鲑鱼 每条鱼只能属于：鲈鱼或者鲑鱼 定义ω 描述鱼的类别状态 定义ω 描述鱼的类别状态 ω = ω 表示鲈鱼 ω = ω1 表示鲈鱼 1 ω = ω 表示鲑鱼 ω =