(3-1)分类器设计简介.pptVIP

分类器设计 ——利用决策规则对观测的特征向量进行分类 涉及分类器设计及实现的几个术语 决策面：按照决策规则可以将d维特征空间分成c个决策域（因为X必然要属于c个类别中的某个类别），我们将划分决策域的分界面叫做决策面. 决策面在一维特征空间(X为一维,d=1)中是一分界点,在二维特征空间(X为二维,d=2)中是一曲线,在三维特征空间(X为三维,d=3)中是一曲面,在多维特征空间(X为d维,d3)中是一超曲面.在数学上以决策面方程的形式表示。 决策面方程:相邻两个决策域在决策面上其判别函数值是相等的. 判别函数：以函数的形式来表达决策规则，这样的函数叫判别函数。 用判别函数的形式表达Bayes决策规则 用判别函数的形式表示一般决策规则： 对于c类别情况，定义一组判别函数gi(x),i=1,2,…,c 如果有对于一切 j ≠ i 均有 gi(x) gj(x),则 X ? Wi 决策面方程:如果1Ri和1Rj是相邻的两个决策域, 则有: gi(x)= gj(x) 用判别函数的形式表示最小误识率Bayes决策规则: 令gi(x) Δ P(wi|x) 或gi(x) Δ P(x | wi)P(wi)即可. 对于特殊的两类别最小误识率Bayes决策情况:令g (x) Δ P(w1|x) - P(w2|x) 则决策规则为: if g (x) 0, then X ? W1 , else X ? W2 决策面方程为: g (x) = 0 对于最小风险Bayes决策: 令g (x) Δ λ21P(w1|x) – λ12P(w2|x) 则决策规则为: if g (x) 0, then α= α1, else α= α2 决策面方程为: g (x) = 0 分类器的设计 分类器可看成是有硬件或软件组成的“机器”.其功能是:先计算c 个判别函数 gi(x) ,再从中选出对应于判别函数 最大的类作为决策结果. 样本 x1 x2 … … … 最大值选择器 决策α(x) xn 关子分类器错误率的估计问题 利用样本估计错误率，直观上可认为N个考试样本(testing samples)中错分的样本数越多，则错误率越大，因此可用错分样本数与总考试样本数的比作为错误率的估计。这可分为两种情况： (1)对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验(样本)集或考试(样本)集(testing set)。 (2)对于未设计好的分类器，需将样本分成两部分，即分为设计集(training set)和检验集(testing set)，分别用以设计分类器和估计错误率。用来设计分类器的样本集称为设计(样本)集(training set)。 * * 信息获取 预处理 特征提取 分类器设计 分类决策 训练过程 识别过程 模式识别系统 g1(x) g2(x) gc(x) MAX 一、两类别情况： g(x) 阈值单元 1.判别函数： 2.决策规则： 3、决策面方程： 4、分类器设计： 二、多类情况：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x). 2.决策规则： 3、决策面方程： g1(x) max g(x) g2(x) gn(x) 4、分类器设计： *