第二章 示例学习示例学习的问题描述（见表2.1,表2.2）二.pptVIP

* 第二章 示例学习 示例学习的问题描述（见表2.1,表2.2） 二. 决策树学习（ID3算法） 学习效果的衡量标准（示例学习的优化问题） ID3算法： 输入：例子集（正例、反例）； 输出：决策树 从树的根结点开始，每次都用“最好的属性”划分结点，直到所有结点只含一类例子为止。 3. 信息增益 结点nodei 例子集C, p个正例 n个反例 结点nodei的“信息熵” – 褐 淡黄 矮 8 – 褐 黑 高 7 – 兰 黑 高 6 – 兰 黑 矮 5 – 褐 淡黄 高 4 + 兰 红 高 3 + 兰 淡黄 高 2 + 兰 淡黄 矮 1 类别 眼睛 头发 高度 例子号 [头发=淡黄∨红色][眼睛=蓝色] → + [头发=黑色] ∨[眼睛=褐色] → – 表2.1 表2.2 p false normal cool sunny 9 N False High mild sunny 8 P True Normal cool overcast 7 N True Normal cool rain 6 P False Normal cool rain 5 P False High mild rain 4 P False High hot overcast 3 N True High hot sunny 2 N False High hot sunny 1 Class Wind Humidity Temperature Outlook Day N True High Mild rain 14 P False Normal Hot Overcast 13 P True High Mild Overcast 12 P True Normal Mild Sunny 11 P False Normal Mild Rain 10 outlook sunny overcast rain humidity p windy high normal N P true false N P {1…14} {1-,2-,8-,9+,11+} {3+,7+,12+,13+} {4+,5+,6-,10+,14-} {1-,2-,8-} {9+,11+} {6-,14-} {4+,5+,10+} 根结点:P=9,n=4 A是例子的一个属性，有V个值{a1, …av}, 用A扩展nodei结点 把C分成V个子集{C1, …Cv}, Ci对应ai (i=1,2, …V)。 Ci含有pi个正例，ni个反例。 “期望信息熵”为 属性outlook,有三个值，{sunny,overcast,rain},用outlook扩展根结点得到三个子集{C1,C2,C3}。C1={1-,2-,8-,9+,11+},C2={3+,7+,12+,13+}, C3={4+,5+,6-,10+,14-} P1=2, n1=3 I(2,3)=0.971 P2=4, n2=0 I(4,0)=0 P3=3, n3=2 I(3,2)=0.971 则“信息增益” Gain(A)=I(p,n)-E(A) Gain(outlook)=0.940-E(outlook)=0.246bits 3. 举例 4. 决策树学习的常见问题 1）不相关属性(irrelevant attributes) 属性A把例子集分成v个子集{C1,…Cv}，Ci含有Pi个正例、ni个反例。 2) 不合适属性（Inadequate attributes) 两类例子具有相同属性值。没有任何属性可进一步扩展决策树。哪类例子多，叶结点标为哪类。 3）未知属性 ① 决策树方法: 把未知属性作为“类”，原来的类作为“属性” ② “最通常值”办法 ③ Bayesian 方法 ④ 按比例将未知属性例子分配到各子集中： 属性A有值{A1,…,Av}, A值等于Ai的例子数pi和ni，未知属性值例子数分别为pu和nu, 在生成决策树时Ai的例子数 Pi+pu·ratio *