基于信息理论机器学习准则%3a以分类问题为例.pdfVIP

基于信息理论的机器学习准则：以分类问题为例 胡包钢，王泳 中国科学院自动化所模式识别国家重点实验室， 中国科学院北京研究生院北京 100080邮政编码 e—mail：照丛垫g@n!乜￡i垒：Il旦：￡廷 Information—basedin CriteriaMachine Learning -On ClassificationProblems Bao-GangHu，YongWang National ofPaaern ofAutomation LaboratoryRecognition，Institute GraduateSchool I Beijing Chinese of 100080，China AcademySciences，Beijing 摘要：基于信息理论为机器学习准则的研究已经成为机器学习或智能信息处理中的重要 发展方向之一[卜3]。虽然信息理论为这些研究领域提供了不同于传统性能指标为学习准则 的研究思路与发展契机，但是可以认为相关研究还处于起步阶段。我们对应用信息熵为学习 准则的本质优越性与局限性是什么仍然知之不多。本讲座正是以机器学习中的分类问题为 例，结合我们最近的研究结果[4-5]，试图回答以下一些基本问题： 一在分类学习中，基于信息理论的互信息学习准则与传统分类性能指标的基本关联是 下界与上界的不等式关系，但我们能否推出其它更具体的表达关系? 一在分类学习中，当我们应用信息熵为学习准则，如果分类器在获得互信息(或条件 熵)的最大值或最小值时，它对分类结果的基本含义是什么?应用信息熵为分类学 习准则的原理性解释是什么? 一分类学习中传统的准则是性能指标，如分类准确度或精度。但是，其中有些指标相 互之间具有矛盾属性。如信息检索应用中“查全率”与查准率”之间，军事目标 识别中的“击中率”与虚警率”之间。应用信息熵可否实现不同性能指标的自然 而客观方式的综合平衡? 本讲座在给出新推导的理论公式及其解释的同时，还将以分类结果具体实例以及开放源 码SCILAB程序计算应用来讨论信息熵为分类学习准则的独特性、优点、以及局限性。希望 相关讨论有助于加深我们对信息理论(或熵理论)在机器学习或智能信息处理中的本质性认 知。 关键词。机器学习信息理论熵互信息学习准则分类 参考文献 S．Neural Networks，A Hall，New 【1】Haydn ComprehensiveFoundation，(2nded)，Printice York，1999．(中译本： 神经元网络原理，叶世伟，史忠植译，机械工业出版社，2004) JC．XuD．Zhao J from withInformation—TheoreticCriteria．J． 【2】Principe Q．FisherW：Learning Examples VLSI SignalProc．。2000(26)：6l—77． 31