数据分类-决策树.pptVIP

ID3算法的原理 期望信息 * ID3算法的原理 熵 熵值E(Af)越小，表示属性Af对数据集划分的纯度越高 * ID3算法的原理 信息增益 * ID3算法原理 选择具有较高信息增益的描述属性作为给定数据集X的分支属性，从而创建决策树中的一个节点 根据该描述属性的不同取值再创建分支 之后对各个分支中的样本子集递归调用上述方法建立下一级子节点 当某个分支上的所有数据样本都属于同一个类别时划分停止，形成叶节点 或者当某个分支上的样本不属于同一个类别，但是又没有剩余的描述属性可以进一步划分数据集时也形成叶节点，并且用多数样本所属的类别来标记这个叶节点 * ID3算法示例 该样本集中共 包含4个描述 属性和1个类别 属性，空间容量 为14 目标是利用ID3 思想构建一棵 可用于新样本 分类的决策树 * A1-公司职员 A2-年龄 A3-收入 A4-信誉度 C-买保险 否 =40 高 良 c2 否 =40 高 优 c2 否 41~50 高 良 c1 否 50 中 良 c1 是 50 低 良 c1 是 50 低 优 c2 是 41~50 低 优 c1 否 =40 中 良 c2 是 =40 低 良 c1 是 50 中 良 c1 是 =40 中 优 c1 否 41~50 中 优 c1 是 41~50 高 良 c1 否 50 中 优 c2 第1步：计算对训练集分类所需的期望信息 已知 total=14 c1(买保险)的样本数量是n1=9 c2(不买保险)的样本数量是n2=5 所以 P(c1)=9/14 P(c2)=5/14 根据期望信息公式可得 * 第2步：计算A1（公司职员）的熵 A1包含两种取值：“是”和“否” 利用A1可将X划分为两个子集X1和X2 X1中的数据样本都是公司职员（7个） 标号为c1的有6个，n11=6 标号为c2的有1个，n21=1 则可得 p11=6/7 p21=1/7 * A1-公司职员 C-买保险 否 c2 否 c2 否 c1 否 c1 是 c1 是 c2 是 c1 否 c2 是 c1 是 c1 是 c1 否 c1 是 c1 否 c2 第2步：计算A1（公司职员）的熵 利用A1可将X划分为两个子集X1和X2 X2中的数据样本都不是公司职员（7个） 标号为c1的有3个，n12=3 标号为c2的有4个，n22=4 则可得 p12=3/7 p22=4/7 * A1-公司职员 C-买保险 否 c2 否 c2 否 c1 否 c1 是 c1 是 c2 是 c1 否 c2 是 c1 是 c1 是 c1 否 c1 是 c1 否 c2 第2步：计算A1（公司职员）的熵 则计算出A1划分训练集所得的熵为 * 第3步：计算A1（公司职员）的信息增益 * 第4步：求出其他描述属性的信息增益 Gain(A2)=0.246 Gain(A3)=0.029 Gain(A4)=0.048 经比较可知Gain(A2)最大，所以选择A2（年龄）作为决策树的根节点 进一步将树划分为3个分支 * 第5步：根据根节点划分数据集 年龄=40的子集 在此子集内继续检查Gain(A1)、Gain(A3)、Gain(A4) 选取信息增益最大的描述属性作为内部节点 * A1-公司职员 A3-收入 A4-信誉度 C-买保险 否 高 良 c2 否 高 优 c2 否 中 良 c2 是 低 良 c1 是 中 优 c1 第5步：根据根节点划分数据集 年龄41~50的子集 该子集中所有样本的类别标号都一样，所以无需继续划分 可将它标注为一个叶节点，而且叶节点的类标号为c1 * A1-公司职员 A3-收入 A4-信誉度 C-买保险 否 高 良 c1 是 低 优 c1 否 中 优 c1 是 高 良 c1 第5步：根据根节点划分数据集 年龄50的子集 在此子集内继续检查Gain(A1)、Gain(A3)、Gain(A4) 选取信息增益最大的描述属性作为内部节点 * A1-公司职员 A3-收入 A4-信誉度 C-买保险 否 中 良 c1 是 低 良 c1 是 低 优 c2 是 中 良 c1 否 中 优 c2 ID3算法小结 使用ID3算法的基本思想是 采用自顶向下的递归方式，将原始样本空间划分成若干更小的样本空间 再对他们单独进行处理 其中，选择哪一个描述属性作为新建节点，依据是考察该描述属性的信息增益是否最大 * * ID3的不足（1/2） 使用信息增益作为属性选择依据 带有倾向性，倾向于选择取值较多的属性 ? 为什么？ 一种可能的解释是：对于较难分类的集合，优先将样本分割到尽可能多的分支中将极大简化分类工作 * ID3的不足（2/2） 无法处理未知值的样本 对于个别样本缺失了某项描述属性的情况，无法处理