Lecture 3_Decision Tree and Entropy_1 机器学习概论 教学课件.ppt

Lecture 3:Decision Tree and Entropy-1 邓志鸿 北京大学信息科学技术学院 回顾－Find-S 利用?g关系进行搜索 hj ?g hi ：（? x ? X）hi(x) =1 ? hj(x) =1 。 从最特化的概念开始，每当遇到不能覆盖的正样本，就泛化该概念，使其能够覆盖上述正样本。 特殊?一般 算法描述 1. 初始化h为概念空间H中最特化的概念 即在各个属性上都不能取值 2.对训练样本中的正样本x 对h在每个属性上的约束ai 如果x在该属性上满足ai ，则do nothing 否则用bi替换ai ， x在该属性上满足bi且bi是所有x满足的约束中是最小的 输出h 回顾－版本空间 The general boundary（泛化边界） 给定概念空间H和训练样本集D，泛化边界G定义如下： G ?{g?H | consistent(g, D) ? (??g’ ?H ) [g’ ?g g ? consistent(g’ , D) ]} The specific boundary（特化边界） 给定概念空间H和训练样本集D，泛化边界G定义如下： S ?{s?H | consistent(s, D) ? (??s’ ?H ) [s ?g s’ ? consistent(s’ , D) ]} VSH,D ? {h ? H | (? s?S ? g?G )[g ?g h ?g s]} 回顾－Candidate-Elimination learning Algorithm 回顾－练习 用上述两种方法学习下表中包含的概念（知识） Decision Tree（决策树） 决策树方法是机器学习中最常用的归纳推理方法。 决策树方法通过分析训练样本归纳出概念和知识。 是逼近离散目标函数的方法，学习得到的函数以决策树的形式表示。 内容 决策树表示 决策树算法 熵，信息收益 其它属性选取方法 分类问题和归纳偏好 过学习（Overfitting） 决策树表示 每个内结点（非叶结点）代表一个属性 由结点出发的每条边对应一个属性值 叶结点表示分类 DNF（析取范式） disjunctive normal form 决策树表示： A∧B∨?A∧C 决策树学习 很多不同的树可以表示同一个概念 但这些树大小各异 A∧B∨?A∧C Hyafil Rivest 于1976证明了 学习最简单（最小）的决策树是一个NP-完全问题 求助于启发式贪心法 不能保证最优，但是很可能接近最优 具体思想： 首先构造一个空树 选择一个“最好”属性，对训练样本进行分割 递归上一过程 决策树算法－ID 3 自顶向下的决策树归纳方法 属性选择 最好的属性? 产生最小规模的树 启发：尽可能选择可生成“最纯节点”的属性 常用“不纯”（不确定性）度量标准 熵（Entropy） 信息收益（information gain） 基于熵 随着由属性生成的子集的平均“纯度”的增加而增加。 策略：选择导致信息收益最大的属性 Examples－有关不确定性 不确定性度量 随机试验S只有有限个不相容的结果A1, A2, …, An，它们对应的概率为P1, P2, …, Pn，满足 用来度量S的不确定性的度量H(S)应该满足： 1. 是Pi的连续函数 概率的微小变化不会引起不确定性发生很大变化。同时，连续函数也便于数学上处理。 2. 对n个等概结果的试验，H是n的单调函数 当试验的结果越多时，在等概率出现的情况下，其相应的不确定性也应该越大。 3. 一个试验分成相继的两个试验时，未分之前的H是己分之后的H的加权和。 这个要求也比较合理 Entropy （熵） 定理（Shannon）：唯一满足上述三个条件的函数H具有下列形式 熵 Shannon－简介 香农（1916－2001） 家族背景 1916年诞生于美国密西根州的一个小镇，父亲是法官，母亲是中学校长，祖父是农场主兼发明家（对他影响最大） 据称与大发明家爱迪生还是远亲 教育背景 1936年密西根大学获得数学与电气工程学士学位 1938年在MIT获得电气工程硕士学位 硕士论文：《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析) 用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础 哈佛大学的Howard Gardner教授评价说“这可能是本世纪最重要、最著名的一篇硕士论文。” 1940年香农在MIT获得数学博士学位 博士论文：《An Algebra for Theoretical Genetics》(理论遗传学的代数学) 很奇怪，研究关于人类遗传学。 牛人就是这样，兴趣十分广泛。 在不同的学科方面发表过许多有影响的文章。 Shanno