正态分布情况下的Bayesian分类器与决策面(BayesianClassifier.doc

正态分布情况下的Bayesian分类器与决策面 (Bayesian Classifier and Decision Surfaces for Normal Distributions) 若一元变量x在(j的类条件概率密度p(x/(j)服从正态分布N((j, )，即 记为。 对二元变量x=(x1, x2)T，若(j的类均值向量为(j=((j1, (j2)T，类协方差阵为，记为。一般地，有(12=(21，即为对称阵，它的逆矩阵为 这时，x属于(j的类条件概率密度为 一般地，若x(Rm为m维随机变量，则x属于(j的类条件概率密度为 （2-36）或（2-37）成立的前提条件是，或者说可逆。 我们知道，当依据后验概率进行决策时，两个类别(j与(k的分界面由所决定，即 。结合（2-3），我们有 于是，超维决策面方程为 这里，分类阈值。 以下分几种情况对（2-40）进行讨论。 (j与(k的类协方差阵相等且为对角阵，即，这时，，（2-40）化为 这是一个超维平面，由此产生的分类器被称为线性分类器。一般将（2-41）写成 这里，w=(k-(j常被称为权值， 被称为阈值。显然，超维平面(kj的法矢量为w=(k-(j，即(kj与(k-(j垂直。 特别地，当(j、(k两个类别的先验概率相等时，，且平面(kj经过点，如图2-3所示。 (j与(k的类协方差阵相等，，且 ，（2-40）化为 这显然也是超维平面。 (j与(k的类协方差阵不相等，即，（2-40）化为 这是一般二次超维曲面，可能是超维球、超维椭球、超维抛物面或超维双曲面。 注意之处： 正态分布情况下，的Bayes分类器与决策面存在的前提条件是， 类协方差阵均可逆。 同类别的样本仅分布在一个凸区域。 例2.1. 设(1与(2两个类别的样本分布在二维空间，先验概率P((1)= P((2)，类条件概率密度函数服从正态分布，两个类均值分别为(1=(0.0, 0.0)T，(2=(1.0, 0.0)T，类协方差阵分别为 试求决策方程，并画出其大致形状。 解：由于先验概率P((1)=P((2)，决策面方程由类条件概率密度函数所决定，即 或 今已知 代入上式并整理得决策面方程： 这是一个中心在(-1, 0)，水平半轴长1.5、垂直半轴长2.05的椭圆，如例图2.1所示。 练习题 设(1与(2两个类别的样本分布在二维空间，先验概率P((1)=P((2)，类条件概率密度函数服从正态分布，其类均值分别为(1=(0.0, 0.0)T，(2=(1.0, 0.0)T，类协方差阵分别为 试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。 设一个2维两类别问题。其中，类条件概率密度函数服从正态分布，类均值向量分别为，，类协方差阵分别为，，先验概率，试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。 设一个m维两类别问题。其中，类条件概率密度函数服从正态分布，均值向量分别为和，类协方差阵分别为和，先验概率，今欲使基于最小错误概率的Bayes决策面方程为一个超维球，试确定应满足的条件。 37 例图2.1 决策面的大致形状 1.0 0 2.0 -2.0 -1.0 ( xi2 xi1 ( 图2-3 当P((j)=P((k)且(j=(k=(2I时的决策分界面(kj示意图 0 (k-(j ((k+(j)/2 (k (j