贝叶斯决策理论2726524.pptxVIP

第四章 贝叶斯决策理论;对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ ω ?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。;设N个样本分为两类ω1，ω2。每个样本抽出n个特征， x =（x1， x2， x3，…， xn）T;2、决策规则：; 3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率：;g(x);二、多类情况：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x).每个判别函数有上面的四种形式。 2.决策规则：;§4-2 正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： ;3、（多变量）多维正态分布 （1）函数形式：;(2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。 ③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 ④、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑤、线性组合的正态性。 ;判别函数：类条件概率密度用正态来表示：; ;;讨论：;未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。;;讨论：针对ω1，ω2二类情况，如图：;3、第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。;;§4-3 关于分类器的错误率分析 1、一般错误率分析：;2、正态分布最小错误率(在正态分布情况下求最小错误率);;§4-4 最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22；第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：;在整个特征空间中定义期望风险, 期望风险：;条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。;二类问题：把x归于ω1时风险： 把x归于ω2时风险：;;§4-5 Bayes分类的算法（假定各类样本服从正态分布） 1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(N×n)。并计算有关参数。 3.计算矩阵y中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。;例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？ 解1、假定二类协方差 矩阵不等（∑1≠∑2） 则均值:;;;;训练样本号k;;;解2、设三类协方差矩阵相等;;作业：①在下列条件下，求待定样本x=(2,0)T的类别，画出分界线，编程上机。 1、二类协方差相等，2、二类协方差不等。 ;作业：②有训练集资料矩阵如下表所示，现已知， N=9、N1=N2= N3=3、n=2、M=3，试问，X=(-2,2)T应属于哪一类？ ;§4-6 在一类错误率固定使另一类错误率最小的判别准则（聂曼-皮尔逊判决neyman-pearson） ;;例：两