贝叶斯分类幻灯片.ppt

上机实验 实验一 最近邻规则的聚类算法 实验要求 编写采用最近邻规则的聚类算法，距离采用欧式距离，阈值可设定。 采用二维特征空间中的10个样本对程序进行验证 x1 = (0,0)，x2 = (3,8) x3 = (2,2)，x4 = (1,1) x5 = (5,3)，x6 = (4,8) x7 = (6,3)，x8 = (5,4) x9 = (6,4)，x10 = (7,5) 实验二 k-均值聚类算法 实验要求 编写k-均值聚类算法的程序，对下列数据进行聚类。 (0,0),(1,0),(0,1),(1,1),(2,1),(1,2),(2,2),(3,2),(6,6),(7,6),(8,6),(6,7),(7,7),(8,7),(9,7),(7,8),(8,8),(9,8),(8,9),(9,9) 4.1 贝叶斯分类器 4.2 正态分布的贝叶斯分类 4.3 均值向量和协方差矩阵的参数估计 4.1 贝叶斯分类器 问题的提出 确定性特征 随机特征 问题描述 假定要识别的物理对象x有n个特征x1，x2，… ，xn，记作x=[ x1，x2，…，xn]T，所有的特征向量构成了n维特征空间。假定这些待识别的对象来自c个类别ωi (i=1，2，…，c)，并且每个类别出现的先验概率P(ωi)、类条件概率密度p(x|ωi) 及类别c已知。 如果观察到一个样本x，如何合理地对x进行分类？ 一、基本概念 概率密度函数 则称x为连续型随机变量，函数f(x)为x的概率密度函数。 对于连续随机变量X的分布函数F(x)，存在非负函数f(x)，使对于任意实数x有： 概率密度函数性质： 先验概率P(ωi)：先验知识确定的类别总体分布。 后验概率P(ωi|x)：在得到“结果”的信息后重新修正的概率。 类条件概率密度p(x|ωi)：连续随机变量x，其分布取决于类别状态 用已知类别的训练样本来估计类条件概率密度 分析样本形成条件，假定分布函数 例：汉字字频 新华社统计资料 鲈鱼和鲑鱼的比例 渔业统计资料 贝叶斯公式： 二、基于最小错误率的贝叶斯分类 在模式分类问题中，人们希望尽量减小分类的错误。 不可能不犯错误，因为样本是随机的… 我们希望所使用的分类规则，能使错误率达到最小。 p(x)：混合概率密度函数 贝叶斯公式提供了先验概率和后验概率的转换关系。 贝叶斯判别准则： 若： 则： 若： 则： 若： 则： 特殊的对于两类情况，贝叶斯判别准则： 根据贝叶斯公式，得到： 其他表示形式： 或： 贝叶斯准则决定了对每个x都使P(e|x)取最小值，即使平均错误率取得最小值。 对于两类情况：令t是两类的分界面，当x是一维时，即x轴上的一点。 对于两类问题，统计判决的基本方法是根据类的概率和概率密度将模式的待征空间Ω分划成两个子区域Ω1和Ω2，对应的类别分别为ω1、ω2。即： 可能出现的分类错误： 1）实属ω1类的模式判属ω2类，发生这种错误的原因是属于ω1类的模式在特征空间中散布到Ω2中去，从而将其判为属于ω2 类，这种误判概率为： 2）实属ω2类的模式判属ω1类，这种误判概率为： ω1和ω2类出现的概率分别为P(ω1)和P(ω2)，则总的误判概率P(e)是： 贝叶斯判决准则使正确概率最大，相当于使误判概率最小。 多类情况时，贝叶斯判别准则的错误率 S个类别需要把模式空间划分割成S个区域Ω1, Ω2,…,Ωs，判别错误的形式多，先计算判别正确的概率P(correct)。 P(e)=1-P(correct) 不管空间如何划分，不管样本如何分布，贝叶斯准则对所有的x选择使其积分值最大的划分方式，所以具有最小的错误概率。 例1： 假定一维测量（特征）值y的类条件密度函数为： 并且P(ω1)=P(ω2)。 求：两类的分类规则。 例2：某区域细胞识别。ω1为正常细胞,ω2为异常细胞，P(ω1)=0.9，P(ω2)=0.1，由类条件概率密度分布曲线查得：p(x|ω1)=0.2，p(x|ω2)=0.4，对未知细胞x分类。 例3： 对一批人进行癌症普查，ω1类代表患癌者，ω2类代表正常人。设试验中患有癌症的概率为0.005。 1. 若任选一人，其患癌症的概率有多大？ 2. 若有一化验试验，结果有阴、阳两种。用这一试验对患者诊断，结果以x表示，取值