4分类跟预测(1)决策树资料.pptVIP

* ID3算法 给定数据集X = {(xi, yi) | i=1, 2, …, total}。 xi (i=1, 2, ..., total)用d维特征向量xi = (xi1, xi2, ..., xid)来表示，xi1, xi2, ..., xid分别对应d个属性A1, A2, ..., Ad的具体取值； yi (i=1, 2, ..., total)表示样本xi的类标号，假设要研究的分类问题有m个类别，则yi∈{c1, c2, ..., cm}。 假设nj是数据集X中属于类别cj的样本数量，则各类别的先验概率为： 对于数据集X，将其分为m类的期望信息为： * ID3算法 计算属性Af划分数据集X所得的熵： 假设Af有q个不同取值，可按q的不同取值将X划分为q个不同的子集{X1, X2, …, Xs, …, Xq}； 假设ns表示Xs中的样本数量，njs表示Xs中属于类别cj的样本数量，则由属性Af划分数据集X的熵为： 其中： * ID3算法 计算属性Af划分数据集时的信息增益： 属性的信息增益值越大，表示它的区分度就越高，使用该属性进行分类的效果就越好。 ID3算法是通过选择具有最高信息增益的属性作为数据集的划分，从而可创建决策树中的一个结点，根据该属性的不同取值可形成该结点的不同分枝。 再对各分枝中的数据子集进行递归划分，直至形成叶结点