一种新型的模型树算法研究及应用.pdfVIP

2 008年1月 控 制 工 程 Jan．2 0 0 8 第15卷第1期 Control Engineering of China V0l，15．No．1 文章编号：1671．7848{2008)01．0103—04 一 种新型的模型树算法研究及应用 张 坤，穆志纯，常晓辉 (北京科技大学信息工程学院，北京 100083) 摘 要：决策树算法训练速度快、结果易于解释，但在实际应用中其分类精度难以满足 业务要求。为了提高决策树算法的精度，基于LogitBoost算法的优点，对决策树C4．5算法进行 了改进。在决策树的叶节点上应用LogitBoost算法建立叠加回归模型，得到一种新型的模型树 算法一LCTree算法。通过11组UCI数据集试验，经分析比较，证明LCTree算法比其他算法更有 效。将该算法应用于电信客户离网预警系统建模，结果表明，该算法可有效地分析客户特征， 精确地预测离网客户。 关 键 词：h~gitBoost；模型树算法；数据挖掘；客户关系管理；客户离网预警 中图分类号：TP 311 文献标识码：A On A New Model Tree Algorithm and Its Application ZHANG Kun．MU Zhi-chun。CHANG Xiao-hut (School of hffomaation Engineering，Science mid Technology University of Beijing，Beijing 100083，China) Abstract：Decision tree algorithm has high training speed and easy understandable resLdt．but it has the disadvantages of limited precision re— sulting and is unable to satisfy the need of application in businesses．Basd on the advantages of h~gitBoost algorithm ，a new model tree algo— rithm called LCTree algorithms is proposed．LCTree algorithm is all improved algorithm building Logistic model on the leaves of C4．5 tree．The experiments of the LClree algorithms show better precision than others algorithms．The application in classification modeling of telecommunica— tions data set got more effective results than C4．5 does． Key words：Logitboost；model tree algorithm；data mining；CRM；customer loss warning 模型的方法。提升(Boosting)就是其中常用一种。提 1 引 言 升方法通过搜寻另外一个互补的模型，通过不同的 分类预测问题是数据挖掘中经常遇到的问题。 方法将这些同类模型进行组合，来完善最终的学习 常用的算法包括决策树、贝叶斯网络、对数回归、 模型。这样在每次提升过程中，通过加强对错误分 人