机器学习与模式识别-第4章_线性判别.pdfVIP

第四章 线性判别函数 1 • 4.1 引言 • 4.2 Fisher线性判别 • 4.3 感知准则函数 • 4.4 最小平方误差准则函数 • 4.5 多类问题 • 4.6 讨论 2 引言 x 分类器 1 g1 功能结构 x2 g2 MAX a(x) . . . 基于样本的Bayes分类 . . 器：通过估计类条件 . g xn c 概率密度函数，设计 相应的判别函数 – 最一般情况下适用的“最 优”分类器：错误率最小， 对分类器设计在理论上有 指导意义。 样本分布的 决策规则： – 获取统计分布及其参数很 训练样本集 统计特征： 判别函数 困难，实际问题中并不一 概率密度函数 决策面方程 定具备获取准确统计分布 的条件。 3 直接确定判别函数 • 基于样本的直接确定判别函数方法： – 针对各种不同的情况，使用不同的准则函数， 设计出满足这些不同准则要求的分类器。 – 这些准则的“最优”并不一定与错误率最小相 一致：次优分类器。 – 实例：正态分布最小错误率贝叶斯分类器在特 T 殊情况下，是线性判别函数g(x)=w x （决策面 是超平面），能否基于样本直接确定w? 选择最佳准则 决策规则： 训练样本集 判别函数 决策面方程 4 判别函数 假设对一模式X已抽取n个特征， x 表