基于确定性退火技术的分类器设计研究.pdfVIP

基于确定性退火技术的分类器设计· 曹治国 邹飞勇 张天序 (华中科技大学图像识别与人工智能研究所 图像信息处理与智能控制国家教育部重点实验室 武汉430074) 摘要：针对传统分类器的缺陷，本文提出将分类问题看作一物理系统，把求解分类问题的最优 解转化为模拟温度变化的物理系统的平衡态，通过求解一系列温度变化的物理系统自由能函数的极 小来模拟物理系统的平衡态．最终达到物理系统的基态，即分类问题的最优解．由确定性退火技术构 造学习规则用于优化分类器参数，目的减少分类误差以及待识别空间的系统熵．试验表明，将确定 性退火技术用于分类器设计中，降低了分类误差，取得了良好的分类性能． 关键词：分类器；确定性退火；自由能函数： 分类误差 1．引言 在模式识别和数据挖掘中，分类技术是一个重要的研究内容．分类技术能对大量有关数据进行分 析、学习，并建立建立相关领域中的分类模型，该技术在军事、金融、．工程等领域有广泛的应用。 分类技术解决问题的关键在于构造分类器。常见的分类器有神经网络、贝叶斯分类器、最大似 然分类器、决策树、决策表等。贝叶斯分类器关键在于根据样本信息求出类概率密度函数，尽管似 然估计等方法在估计类概率密度函数的有关参数方面已经取得较好的效果，但是在参数估计的过程 中其目标是将分类模型的似然值最大化而不是将分类误差最小化，也就是说分类效果并不是最佳的。 另外，如果样本有限或者特征维数很高时，构造类概率密度函数就很困难。基于模型(如样本服从 高斯分布)的分类器虽然能较好的分类，但是当样本分布不服从高斯分布时，其分类效果并不理想， 即应用范围有限。 此外，学习¨1在构造模式分类器中起着中心的作用，通常的做法是，首先假设一个单参数或多 参数的模型，然后根据训练样本来估计各参数的取值。常用的参数估计方法有解析法、神经网络、 最大似然法等等。对于高维和复杂的模型，参数估计通常易陷入局部极小，因此这一类方法往往得 不到分类器参数的最优解。 本文研究了确定性退火技术在分类器设计中的应用，提出将分类问题看作一物理系统，把求解分 类问题的最优解转化为模拟温度变化的物理系统的平衡态，通过求解一系列温度变化的物理系统自 由能函数的极小来模拟物理系统的平衡态．最终达到物理系统的基态，即分类问题的最优解．根据确定 性退火技术的特点，利用统计物理学和信息论的思想构造了一种学习规则用于优化分类器参数，目 的是减少分类误差以及待识别空间的系统熵。该分类器不需构造类概率密度函数，不依赖样本的分 布，具有很好的鲁棒性和实用性；‘试验表明，一将该学习规则用于分类器设计中，降低了分类误差， 取得了良好的分类性能。 2．确定性退火原理嘲嘲 利用统计物理的退火过程，美国加州理工学院Rose首先提出确定性退火技术，它是按自然法则 计算的一个重要分支。它根据退火过程，将求解优化问题的最优点转化为求一系列随温度变化的物 理系统的自由能函数的极小，它能够使算法避开局部极小而得到全局极小，具有广泛的应用前景。 ’基金项目：总装备部预研基金资助项目(51401020204JW05) 760 其物理意义：对于一固体物质，将其加热，当温度升至溶解温度时，固体变成液体，粒子的排 序从较有序的结品状态转化为无序的液体状态，这就是融化过程。冷却时，当温度徐徐下降，粒子 运动渐渐有序，当温度降为结晶温度后，粒子运动变为围绕晶体格点的微小振动，逐渐形成低能态 的品格，当温度下降充分缓慢，使系统在每一个温度下都达到平衡状态，最终温度降为结晶温度时， 达到固体的基态。 退火过程中系统在每一个温度达到平衡状态的过程．可以用自由能减少定律来描述：“对于与周 围环境交换热量而温度保持不变的封闭系统，系统状态的的自发变化总是朝着自由能减少的方向进 行，当自由能达到最小值时，系统达到平衡状态。” 确定性退火技术，正是基于以上退火过程，一对于求解一极小化问题： mm=E(x) (1) 且∽可以看作某一系统的能量，在某一温度下，系统的状态变化总是朝着自由能减少的方向进 行，当系统达到平衡状态时自由能达到极小值。构造物理系统式(1)对应的自由能函数舷，幻，自由 能函数F(x，乃至少满足两个