4 第四篇 判别函数.pdfVIP

第第四章章 判别判别函数数 前面重点学习的贝叶斯决策具有理论指导意义，同时也 指指明了根据统计参数进行分类决策的方向根据统计参数进行分类决策的方向。沿这条路走就沿这条路走就要 设法获取样本统计分布的资料,要知道先验概率、类分布概率 密度函数密度函数等等。然而许多实际问题中然而许多实际问题中 ，在样本数不足条件下获在样本数不足条件下获 取准确的统计分布非常丰困难。这样一来人们考虑走另一条 道路道路 ，即根据训练样本集提供的信息即根据训练样本集提供的信息 ，直接进行分类器设计直接进行分类器设计。。 具体说就是，首先给定某个判别函数类，然后利用样本集确 定出判别函数的未知参数 。 这种方法绕过统计分布状况的分析，绕过参数估计这一 环，而企图对特征空间实行划分，称为非参数判别分类法 ， 即不依赖统计参数的分类法。这是当前模式识别中主要使用 的方法，并且涉及到人工神经元网络与统计学习理论等多方 面面。 1 AA briefbrief summarysummary ofof PRPR methodsmethods  Model-based methods p(x |ω ) 1 －Bayesian Decision p((x ||ω )) 2 －HMM －….  Data-based discriminants －Linear discriminants: Fisher’s LDA, Perceptron,… －Nearest neighbor method －Artifical neural networks (multi-layer perceptron) －SupportSupport vectorvector machinesmachines －….. 2 2015/3/31 2 AA briefbrief summarysummary ofof PRPR methodsmethods  Rule-based methods －ClassificationClassification treetree －Random forest －….. output 判定树分类算法 训练集 决策树 3 2015/3/31 3  按贝叶斯决策理论设计分类器的步骤可以表示成按贝叶斯决策理论设计分类器的步骤可以表示成 ：  其中获取统计分布及其参数这部分是很困难的，实际问题中 并不一定具备获取准