关于对贝叶斯分类器的介绍与思考.PDF

河北大学数学与计算机学院学术交流 Sept. 27, 2011 关于对贝叶斯分类器的 介绍与思考 胡包钢 NLPR/LIAMA Institute of Automation Chinese Academy of Sciences email: hubg@ 1 Outline 1. 问题与目标 2. 贝叶斯方法简介 3. 关于“客观性”讨论 4 贝叶斯分类器 5. 两个定理 6. 讨论 2 1. 问题与目标 - 课题组：我本人加若干研究生 - 原非机器学习研究背景 - 所处模式识别国家重点实验室 - 近几年强调基础研究 设定目标与挑战： ✔ 开展有鲜明学术特点的原创研究 ✔ 力争发展可以进教科书的理论成果 3 问题的提出 科学问题：学习目标与评价准则选择 ✔ 机器学习中的首要与核心问 ✔ 缺少系统性研究 ✔ 与“特征选择”相比（应用 GS 查询） ✔ 两者的关联与区别 4 基本问题与研究思路 “学习目标与评价准则选择” （Selections of Learning Targets and Evaluation Criteria ） 开展两个主线条 (或学术思想 ) 方面研究 1.增加学习机器的透明度：以神经元网络系统模型为例 － 克服目前ANN 与SVM 模型中的“黑箱”问 － 发展基于“数据”与“知识”共同驱动的机器学习方 法 2. 基于信息理论的评价准则与学习目标 :以分类问题为例 － 增加基于信息理论方面的理解 ,解释与应用 － 建立与经验或启发式学习准则或目标的关系 本课题组围绕第二研究主题中 发展轨迹 - 基于互信息准则构造神经元网络系统 （Xing and Hu, IEEE TNN, 2009 ） - 二值分类中互信息准则与准确率，Recall, Precision, F1 准则的非线性关系 （Wang and Hu, CCPR, 2007) - 包括拒识类别多分类中互信息准则的相关定理（ Hu and Wang ，《自动化 学报》，2008) - 基于信息理论的子空间分析（Yang et al, ECML, 2009) - 基于信息理论的特征选取（Yuan and Hu, ICML, 2009 ） - 最大熵 PCA （He, et al, ACML, 2009, Neurocomputing, 2010 ） - 分类器客观评价准则方法：24 个归一化信息类评价指标（Hu, et al, submi ion ）及其Scilab 程序代码（ Hu, OSSC, 2009 ） - 最小条件熵聚类（ Da, ACML, 2010 ） - 基于最大互熵的鲁棒人脸识别（ He, et al, IEEE PAMI, 2011 ） Question One 基本问 1 Q1: Can we apply “entropy” criterion