ID3模式识别.docVIP

这次介绍一下Id3源码，这次用Weka的源码介绍一下。首先Id3是继承于Classifier的： public class Id3 extends Classifier Id3[]成员变量是递归保存树的变量，数据中每一个元素都是当前结点的子结点。 /** The nodes successors. */ private Id3[] m_Successors; Attribute是属性类，m_Attribute是分裂属性 /** Attribute used for splitting. */ private Attribute m_Attribute; 如果当前结果是叶子结点，m_ClassValue是类别，到底double代表什么，以前讲过了，一会再讲 /** Class value if node is leaf. */ private double m_ClassValue; Distribution表示的是这个结点属于某个类别的概率，如m_Distribution[0] == 0.1表示当前结点属于类别0的概率为0.1 /** Class distribution if node is leaf. */ private double[] m_Distribution; 数据集的类别，以前也讲过了 /** Class attribute of dataset. */ private Attribute m_ClassAttribute; ? 以前也讲过，继承自Classifier类的类都要实现buildClassifier函数。 public void buildClassifier(Instances data) throws Exception { ? // can classifier handle the data? getCapabilities().testWithFail(data); ? // remove instances with missing class data = new Instances(data); data.deleteWithMissingClass(); ? makeTree(data); } getCapabilities().testWithFail(data)是判断是否ID3能处理选择的数据集，比如什么连续属性，类别索引没有设置等等。 而data.deleteWithMissingClass则是删除有缺失样本的函数，具体代码如下： for (int i = 0; i numInstances(); i++) { if (!instance(i).isMissing(attIndex)) { newInstances.addElement(instance(i)); } } m_Instances = newInstances; 简单一点，不用为上面的东西分心，关注makeTree(data)就行了： // Compute attribute with maximum information gain. double[] infoGains = new double[data.numAttributes()]; Enumeration attEnum = data.enumerateAttributes(); while (attEnum.hasMoreElements()) { Attribute att = (Attribute) attEnum.nextElement(); infoGains[att.index()] = computeInfoGain(data, att); } m_Attribute = data.attribute(Utils.maxIndex(infoGains)); infoGains保存每个属性的信息增益（IG），枚举每个属性，用computeInfoGain函数计算信息增益值。Util.maxIndex返回信息增益最大的下标，这个属性作为分裂属性保存在m_Attribute成员变量中。 // Make leaf if information gain is zero. if (Utils.eq(infoGains[m_Attribute.index()], 0)) { m_Attribute = null; m_Distribution = new double[data.numClasses()]; Enumeration instEnum = data.enumerateInstances(); while (instEnum.hasMoreElements()) { I