四种机器学习方法的实验性比较的研究.pdfVIP

第36卷 南京大学学报(自然科学) V01．36 计算机专辑 JoIJlⅢALOFNANJⅢGUNIVERSITY Comp咖Issue 0v．2000 2000年11月 (NAllmAI．SC鼢寸CES)N 四种机器学习方法的实验性比较研究· 周志华 葛翔 陈兆乾 (南京大学计算机软件新技术国家重点实验室，南京，210093) ■要本文利用uCI机嚣学习数据库中的数据集对四种机器学习方法进行了实验性比较研 究，包括撬合学习算法【m肥^P和HMCAP．目前量流行韵决策树举习算法C^5以及神经 阿络学习算法BP．对实验结果的分斩产生了一些有助于在实际应用中进行算法选择的妊验 性结论． 关量调机嚣学习。神经同络．决蘸坩．摁台学习 O引言 目前的机器学习方法可以分为符号主义和连接主义两大类．前一类的代表为决策 树，后一类为神经网络。随着机器学习技术的发展．结台符号主义与连接主义的混合学 习方法也得到了广泛关注和深入研究IIJ．由于设计机理、学习方式不同，这3类学习方 法很难进行理论性分折比较。如果从实验层次对它们进行比较研究．将可以得到一些有 助于算法选择的经验性结论，从而促进机器学习技术的广泛应用． 本文利用ucl机器学习数据库掰中的数据集，对混合学习算法IHMCA胪I、 HMo～P|4)，决策树学习算法c4．5嗍，以及神经网络学习算法BPIq在解决分类问题时的 泛化能力和学习速度进行了实验性比较研究。实验结果表明．【HMCAP算法泛化能力最 强且时阃开销小，具有最好的综合性能。HMcAP在训练集较小时．性能接近I硼婚队P， 在口lI练集较大时，在c4．5与BP之间取得了折中。c4．5学习速度快，在离散属性较多的 场合是较好的选择。BP时间开销很大。不适于训练集较小的场合，但在训练集规模较 大时．其泛化能力较强。 l算法描述 HMcA刚是我们提出的一种混合型多概念获取算法．它采用属性值对表示方式，将 基于概率论的符号学习与BP神经网络学习相结合-能从隶属于多个榻|念的示例集中归 纳出以混合型二叉判定树表示的概念描述．该算法在一定程度上模拟了人类思维方式， +宙家自然科学基盒(698∞6．A)与扛苏省自然科学基金(Bl(!挣036)费助．第一作者简舟，周志华 男，1973年生，博士生，主要研究领域为神经同络、机嚣学习、进化计算、救据挖蠢． f 一1曩—万霹l_——————_——————一 ll● 南京大学学报(自然科学) 第36卷 即先利用离散属性对问题进行定性分析，在此基础上再利用连续属性对问题进行定量分 折．由于充分利用了决策树善于处理离散属性．神经网络善于处理连续属性的特点-该 算法在解决很多问题时都获得了较好的效果。 【HMCApl在继承HMo诤优点的同时．对其存在的不足进行了改进。在}Ⅱ岖CAP 中．神经阿络结点采用BP网络进行学习，由于划分到这类结点的示例通常较少，这就 使得BP网络因训练模式少而难以收敛．又由于BP网络训练速度极慢．使得}Ⅱ脚 丧失了决策树类算法学习速度快的优势。针对这些问题，ⅢMcAP采用F1ART网络川 代替了BP．F1’ART网络在训练样本敷较少时就能有效划分示例空间．收敛速度极快且 不存在局部极小问题，不仅使IHMCAP获得较硪垤CAP更好的泛化性能．还使其学习 速度提高到传统决策树类算法的等级。更为重要的时，IHMcAP引入了一种独特的增量 学习机制。使得该算法可以被应用于需要快速响应的实时学习环境。此外，该增量学习 机制也降低了【HMCAP对噪音数据的敏感度，使其可用于处理噪音丰富的学习任务【I】。 c4．5和BP分别是目前最流行的决策树学习算法和神经网络学习算法，在此我们就 不赘述了．详细介绍见参考文献【5】和【6】。 2