人工智能第6.45章.ppt

* Next 目的/要求 重点/难点 本节小结 目的要求 了解决策树特点和构造一棵决策树要解决问题 掌握基于决策树的ID3算法。 熟练使用决策树算法进行分类和预测。 重点与难点 决策树的构造。 利用决策树进行分类和预测。 Back Home Next Home 1 Next 决策树学习是以实例为基础的归纳学习,该方法从一类无序、无规则的事物中推理出决策树表示的分类规则，决策树算法很多，但思想是一致的：构造一棵熵值下降最快的树，到叶节点处熵值为零，叶节点的实例属于同一类。 Home 2 Next ① 决策结点：通常对应于待分类对象的属性。 ② 叶子结点：代表一种可能的分类结果。 ③ 分支：代表一个测试输出，即一条规则。 决策树是一种用于产生分类规则的树结构。 Home 3 Next Home 4 Next Home 5 Next 这些数据的所有属性应该是完全标注的 数据的属性是可以用来分类的,如何来量化这些属性 选择分类准则时把最能刻画分类问题的特征放在前面,使得生成的决策树更令人满意. 每次分裂时，选择使熵减少最大的准则，直到叶节点熵=0 Home Next 机器学习的目的是在确定实例的属性和分类下,构造确定的规则. 机器学习中，训练实例不仅包含数据的属性，也要包含该例子的正确分类。学习的目的是通过这些数据构造出一棵决策树，树的叶节点的实例类别完全确定，进而总结出确定的规则。 Home Next Home Next ID3算法是1986年由Quilan提出的，它是一个从上到下、分而治之的归纳过程。 Home Next Home Next Home Next 选择具有最高信息增益的属性作为当前结点的测试属性，并根据该属性值的个数对数据进行切分。 用信息增益这种信息论的理论方法，使得对一个对象分类所需要的期望测试数目达到最小，并确保找到一棵简单的树。 1 设S 是s个数据样本的集合。假定类属标号属性具有m 个不同的值，定义m个不同类 Ci (I=1,2,……m )。 Home Next 2 设 Si 是类Ci 中的样本数，对一个给定的样本分类所需的期望信息由1式给出: I(S1,S2,……,Sm)=- 对数以2为底 1 其中，Pi是任意样本属于Ci的概率。Pi=∣Si∣/∣S∣ Home Next 3 由A划分为子集的熵（entropy）: 设属性A 具有V个不同的值（a1,a2,……，av）,可以用A将S划分为V个子集(S1,S2,……SV)；其中Sj包含S中这样一些样本，它们在A 上具有值aj,如果A选做测试属性，则这些子集对应于由包含集合S的结点生长出来的分枝。 设Sij 是子集Sj 在类Ci 的样本数，由A 划分为子集的熵或期望信息： E(A)=∑((Sij+……+Smj)/S)*I( Sij,……,Smj) 2 其中（Sij+……+Smj)/S等于子集（即A 值为aj ）中的样本数除以S 中的样本总数。 Home Next 4 熵值越小，子集划分的纯度越高。 I(Sij,……,Smj)=- 对数以2为底 3 信息增益：Gain(A) =I(S1,S2,……Sm)-E(A) 4 Home Next 假设表中是一个天气情况的气候数据，描述气候的特征属性有4个：outlook、humidity、temperature、windy，而每个特征属性的可取值如表所示。 如果某天早晨的天气描述为： outlook：overcast humidity:normal temperature:cool windy:false 那么，它属于哪种类型的气候呢？ Home Next N true high mild rain D14 P false normal hot overcast D13 P true high mild overcast D12 P true normal mild sunny D11 P false normal mild rain D10 P false normal cool sunny D9 N false high mild sunny D8 P true normal cool overcast D7 N true normal cool rain D6 P false normal cool rain D5 P false high mild rain