基于逻辑描述的决策树算法及其prolog实现-云南大学.pdfVIP

云南大 学学报 ( 自然科 学版) , 2005 , 27 ( 3) : 211～215 CN 53 - 1045/ N 　ISSN 0258 - 7971 Journal of Yunnan University 基于逻辑描述的决策树算法及其 Prolog 实现 1 2 1 赵 　爽 , 文 　瑾 , 施心陵 ( 1. 云南大学 信息学院 ,云南 昆明　65009 1 ;2 . 昆明大学 电子信息与机械工程系 ,云南 昆明　65003 1) 摘要 :决策树算法是数据挖掘领域的重要算法之一. 文章首先对决策树算法的数据进行逻辑描述 ,然后使 用保险公司客户数据来构建决策树 ,利用 Prolo g 语言实现了基于逻辑描述的 ID3 算法 ,尝试了用逻辑推理方法 解决数据挖掘问题 ,并对结果进行了分析. 关键词 :决策树 ;逻辑描述 ;Prolog ( ) 中图分类号 : TP 3 11 　　文献标识码 :A 　　文章编号 :0258 - 797 1 2005 03 - 02 11 - 05 　　在常用的数据挖掘算法中,决策树技术由于描 树型结构 ,它利用树结构将数据进行分类. 树的一 述简单 ,分类速度快 ,容易生成可理解的分类规则而 个叶结点就代表属于同一类型的数据子集或类 ,树 得到广泛的应用和研究. Quinlan 提出了著名的 ID3 的每一个内部节点表示在一个数据属性上的测试 , 学习算法[ 1] . ID3 算法定义属性值是离散非数值型 根据数据属性的不同取值建立树的分支 ,在每个分 的,对于连续属性及数值属性则需要进行离散化处 支子集中重复建立下层结点和分支 ,便可生成一棵 理. ID3 算法采用信息增益作为启发知识来帮助选 决策树[5～7 ] . 择合适的分枝属性 ,但是其启发式函数并不是最优 决策树的构造一般分为 2 步 :决策树构建和决 的,启发式函数的计算依赖于属性取值的数 目较多 策树剪枝. 决策树构建 :通过递归的对训练数据集 的特征 ,而属性取值较多的属性不一定最优 ,因此属 进行划分 ,直到每个子集数据都属于同一类 ,如图 性取值的多少会直接影响对分支属性的选择[2 ,3 ] . 在 1 所示. 决策树剪枝 :对决策树进行优化处理 ,去掉 数据挖掘中,属性值的最佳分割阈值是使差异系数 噪音数据或孤立点引起的分枝异常. 下降最快的分割值 ,它保证在同一组内目标变量的 取值具有最小的差异性. 在数据挖掘软件中,差异系 数多采用基尼系数[4 ] . 但差异系数并不能控制属性 取值的数目是最佳的,本文提出用逻辑描述来对连 续属性及数值属性进行离散化处理 ,并使用文献 提供的保险公司客户数据建立决策树. 该数据集有 图 1 　决策树的构建 ( ) 5 822 个样本 86 个属性 变量 ,从数据集中选取部 Fig. 1 Building decision tree 分数据作为训练数据集来构建决策树 ,然后利用 Prolog 语言实现了基于逻辑描述的 ID3 算法.