第4章节数据分类-决策树资料.pptVIP

ID3算法的原理 期望信息 * ID3算法的原理 熵 熵值E(Af)越小，表示属性Af对数据集划分的纯度越高 * ID3算法的原理 信息增益 * ID3算法原理 选择具有较高信息增益的描述属性作为给定数据集X的分支属性，从而创建决策树中的一个节点 根据该描述属性的不同取值再创建分支 之后对各个分支中的样本子集递归调用上述方法建立下一级子节点 当某个分支上的所有数据样本都属于同一个类别时划分停止，形成叶节点 或者当某个分支上的样本不属于同一个类别，但是又没有剩余的描述属性可以进一步划分数据集时也形成叶节点，并且用多数样本所属的类别来标记这个叶节点 * ID3算法示例 该样本集中共 包含4个描述 属性和1个类别 属性，空间容量 为14 目标是利用ID3 思想构建一棵 可用于新样本 分类的决策树 * A1-公司职员 A2-年龄 A3-收入 A4-信誉度 C-买保险 否 =40 高 良 c2 否 =40 高 优 c2 否 41~50 高 良 c1 否 50 中 良 c1 是 50 低 良 c1 是 50 低 优 c2 是 41~50 低 优 c1 否 =40 中 良 c2 是 =40 低 良 c1 是 50 中 良 c1 是 =40 中 优 c1 否 41~50 中 优 c1 是 41~50 高 良 c1 否 50 中 优 c2 第1步：计算对训练集分类所需的