ID3算法创建的数据模型的存储结构探讨.docVIP

ID3算法创建的数据模型的存储结构探讨 　　摘要：利用ID3算法创建的模型是一个不规则的多叉树，这棵树可以用来预测某一事物的发展，从而为决策者提供数据支持。为了能够使用计算机根据模型进行决策，需要设计合理的数据结构来存储树中的各个结点，为算法设计提供支持。该文根据训练集的数据样本创建了数据模型，并根据模型的特点和查找要求，探讨了多叉树的存储方法，以保证算法的运行效率。 　　关键词：ID3算法；信息增益；决策树；数据结构；结点 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)09-1979-03 　　The ID3 Algorithm Create Storage Structure of the Data Model are Discussed 　　YANG Long-ping 　　(Liuzhou Railway Vocational Technical College, Liuzhou 545007, China) 　　Abstract: ID3 algorithm is used to create the model is a more irregular tree, the tree can be used to predict the development of certain things, so as to provide data to support decision-makers. To be able to make decisions based on the model using a computer requires a data structure designed to store all nodes in the tree, the algorithm is designed to provide support. Based on the training set of data samples to create a data model, and find the model characteristics and requirements of the multi-tree storage method, in order to ensure the efficiency of the algorithm. 　　Key words: ID3 algorithm; information gain; decision tree; data structure; node 　　对于同一个问题，可能会有多个算法可以解决，但是，执行时间短的算法效率高，而算法的效率与存储量的需求有很大的关系。数据在计算机中的存储方式，是影响算法的执行效率重要因素。 　　1 ID3算法创建模型的基本思路 　　ID3是基于信息熵的决策树分类算法，算法核心是在决策树中各级结点上选择属性，用信息增益作为属性选择标准[1]，使得在每一个非叶子结点进行测试时，能够获得关于被测试例子最大的类别信息，利用该属性将例子分成子集后，系统的熵值最小。期望该非叶子结点到达各后代叶结点的平均路径最短，生成的决策树平均深度较小，从而能够提高分类速度和准确率。 　　ID3算法计算每一个属性的信息增益，并选取具有最高增益的属性作为给定集合的测试属性[2]。对被选取的测试属性创建一个结点，并以属性标记，对该属性的每个值创建一个分支，依次类推。创建决策树的方法主要由几个公式构成，分别是计算样本分类的期望信息、计算子集的熵、计算子集的期望信息和计算信息增益。 　　1.1 计算样本分类的期望信息 　　设S是s个数据样本的集合，假定类标号属性具有n个不同的值，定义n个不同的类Ci（i=1,2,3,…,n）。设si是类Ci中的样本数，则对一个给定的样本分类所需的期望信息，可以由公式 [3]计算出来。其中pi是任意样本属于Ci的概率，一般可用si/s来估计；对数函数以2为底，因为信息用二进制编码。 　　1.2 计算子集的熵 　　设属性A具有m个不同值{a1 ,a2 ,…, am}。可以用属性A将S划分为m个子集{S1, S2, …, Sm}。如果A作为测试属性，则这些子集对应于由包含集合S的结点生长出来的分支。假设sij是子集Sj中类Ci的样本数[1]。则由A划分成子集的熵的计算可以由公式计算获得，其中充当第j个子集的权，并且等于子集中的样本个数除以S中的样本总数[1]。熵值越小，子集划分的纯度越高。 　　1.3 计算子集的期望信息 　　对于给定的子集Sj，期望信息可以根据计算出来，其中是Sj中的样本属于类Ci的概率[1]。 　　1.4 计算信息增益 　　根据期望信息和熵值，可以