模式识别的基本理论..pptVIP

决策面方程 根据gi(X)－gj(X)＝0有　　 决策面为二次超曲面 ： 随着Σi及P(ωi)的不同而呈现不同形式的超二次曲面。 如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面。 * 2.1.5 分类器错误率计算 错误率：衡量分类器性能工具 1、按理论公式计算：困难 2、计算错误率上界：近似 3、实验估计：需要大量已知类别属性的样本 * 一、一些特殊情况下错误率计算 1、正态分布且协方差阵相等Σi=Σ,i=1,2,…,C） 错误率计算，在高维空间进行，难以计算： 负对数似然比，可化为一维处理： * 用似然比h(x)密度函数计算错误率 * 正态分布下： 若协方差阵相等（Σi=Σ,i=1,2） p(h|w1)、 p(h|w2)计算 h(x)是一维随机变量，是X的线性组合，故 h(x)服从正态分布，可用均值和方差描述 * 错误率 其中： 平均错误率： * 2、独立随机变量 根据中心极限定理，d足够大（10）时，h(x)服从正态分布，则可计算h(x)的均值和方差：(ηij, σij易统计得到） 负对数似然比： 类条件概率密度： 错误率的计算同1（正态分布且协方差阵相等） * 二、错误率上界 Chernoff界限 Bhattacharyya界限 * 当两类的分布 都是正态分布时： 问题 贝叶斯决策理论，需要已知： （1）先验概率；（2）类条件概率密度 分类器设计问题转化为概率密度估计问题。 能否不用概率密度等，直接用样本设计分类器？ 判别函数与概率密度无关。 * 多类别情况 若各类判别函数为： 则决策规则为：　如果 则X ∈ ωi　 决策面及决策面方程 当ωi的决策域与ωj的决策域相邻时，相应的决策面为：gi(X)＝gj(X)　　 * 决策面 决策面是一种统称 特征空间是一维时，一个决策面实际上只是一个点。 二维特征空间里，决策面是一条曲线。 三维则是一曲面。 超过三维的空间，决策面是一个超曲面。 * 三类别问题用一维特征空间时的所有决策边界 * 两类别问题的二维特征空间中的决策边界　　 * 二、分类器设计 可看成是硬件或软件组成的一个“机器” 其功能是计算待识别的特征向量的判别函数，然后根据判别函数的大小进行决策。 * 两类别分类器的框图 此时，可用一个判别函数：g(x)=g1(x)-g2(x) 决策规则：g(x)0，则判X属于ω1 g(x)0，则判X属于ω2 * 多类别分类器的结构框图 * Bayes决策理论小结 Bayes决策理论: 对特征空间任一点x只要能确定落在该点的样本x属于哪一种类的可能性大，就将这点划分到这类的决策域。 问题: 后验概率P(ωi|X)的计算需要通过先验概率和类概率密度函数计算。 Bayes决策是一种通用方法 只在原理上讲特征空间中符合什么条件才能作为哪一类决策域 而我们希望能把决策域用简便的方式，最好是函数形式划分出来，直接计算判别函数就方便了。 显然具体的决策域划分与样本的概率分布有关。 * 下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。 * 2.1.4 正态分布时的统计决策 在模式识别及其它信息处理应用系统中，正态分布假设是对各种随机变量使用得最普遍的假设。 　正态分布在数学上比较简便 　物理上的合理性 * 一、正态分布概率密度函数的定义与性质 正态分布是指一个随机实数度量值在整个实数域上的分布规律。属于概率密度函数类。 * 单变量正态分布　 单变量正态分布概率密度函数定义为 μ表示随机变量x的数学期望 σ2为其方差，而σ则称为标准差 在模式识别中，单变量正态分布类条件概率密度：p(x|ωi)。 　　 * i 多元正态分布 Σ是d×d维协方差矩阵Σ是对称非负定矩阵，在此我们只考虑正定阵，即|Σ|＞0 元：就是特征向量的维数。 多维向量：是一个随机向量，每一个分量都是随机变量，服从正态分布。 * 协方差矩阵 协方差矩阵： 非负定的对称矩阵 主对角元素则是各分量本身的方差 表明该分量的离散程度。越小，越聚集。 非对角元素是协方差： 衡量两个分量之间的相关性：协方差越大，两个变量的相关度越高 * 例：两个二元正态分布 两个二元正态分布的各单个分量相同,(即期望μ1和μ2，方差σ1和σ2都相同)，但这两个特征向量在空间的分布却不相同 * 多元正态分布的性质 (1)参数μ与Σ对分布具有决定性。 记作p(X)～N(μ，Σ)。(2) 等密度点分布在超椭球面上 (x－μ)ＴΣ-1(x－μ)＝常数 二维时表示一个椭圆，在三维表示椭球，在高维