第4讲数据分类决策树.pptVIP

ID3算法的原理 期望信息 * 什么情况下信息量更大？ 分布更平均？VS 分布更极端？ 分布更集中？VS 分布更疏散？ 第三十页，共六十二页。 ID3算法的原理 熵 熵值E(Af)越小，表示属性Af对数据集划分的纯度越高 * 第三十一页，共六十二页。 ID3算法的原理 信息增益 * 第三十二页，共六十二页。 ID3算法原理 选择具有较高信息增益的描述属性作为给定数据集X的分支属性，从而创建决策树中的一个节点 根据该描述属性的不同取值再创建分支 之后对各个分支中的样本子集递归调用上述方法建立下一级子节点 当某个分支上的所有数据样本都属于同一个类别时划分停止，形成叶节点 或者当某个分支上的样本不属于同一个类别，但是又没有剩余的描述属性可以进一步划分数据集时也形成叶节点，并且用多数样本所属的类别来标记这个叶节点 * 第三十三页，共六十二页。 ID3算法示例 该样本集中共 包含4个描述 属性和1个类别 属性，空间容量 为14 目标是利用ID3 思想构建一棵 可用于新样本 分类的决策树 * A1-公司职员 A2-年龄 A3-收入 A4-信誉度 C-买保险 否 =40 高 良 c2 否 =40 高 优 c2 否 41~50 高 良 c1 否 50 中 良 c1 是 50 低 良 c1 是 50 低 优 c2 是 41~50 低 优 c1 否 =40 中 良 c