[经管营销]丁晓青-2002A统计学习理论.pdfVIP

模式识别统计学习理论 Xiaoqing DING, Department of Electronic Engineering, Tsinghua University dingxq@tsinghua.edu.cn 模式识别统计学习理论 引言 模式识别Bayes决策理论 模式识别ERM准则及其一致性 模式识别SRM准则及推广性 支持向量机SVM 结论 引 言 识别是人类基本的智能，也是人类智能的 基础； 模式识别是人工智能、机器视觉、文字识 别、语音识别等许多智能信息处理的基 础； 统计模式识别在模仿人类的感知，对信号 智能处理中取得相当进展； 统计学习理论对小样本统计估计和预测学 习的最佳理论。 模式识别 什么是模式识别？ 模式识别是对特征空间的模式分割； 如何进行模式识别？ 按照模式样本在特征空间的概率分布进行最小风险 的模式分类，依赖于样本的概率分布； 如何获得样本的概率分布？ 从训练样本中获得对概率分布的估计；概率分布的 估计是极其困难的问题； 直接从训练样本中获得最小风险的模式分类器； 统计模式识别的模型 模式识别信息熵理论 特征提取决定了在最优分类器条件下识别性能 特征信息熵H(F)为： X = (x ,x ,.. .,x )T ∈R N 1 2 N p (X ) p (x 1 ,x 2 , ...,x N ) ∫R N p ( X ) dX 1 H ( F ) =− p ( X ) log p ( X )dX ∫R N 类别空间的系统信息熵，定义为： ( ) ( ) H (E ) − P Z LogP Z ∑ Z 模式识别信息熵系统 联合信息熵： H (F , E ) −∑∫R N p (X , Z ) log p (X , Z )dX Z 条件信息熵： H (F E ) −∑∫N p (X , Z ) log p (X Z )dX R Z 后验信息熵： H (E F ) −∑∫R N p (X , Z ) log p (Z X )dX Z ( ) 互信息熵： I (E , F ) −∑∫N p (X , Z ) log P X , Z dX R ( ) ( ) Z P X P Z 信息熵间满足： I (F ,E) H(F) −H(F E) H (E F ) H (E