Lecture 3_Decision Tree and Entropy_1 机器学习概论 教学文稿.pptVIP

Outlook = Sunny－Humidity取值分布 1 Sunny Hot High Weak No 2 Sunny Hot High Strong No 8 Sunny mild High weak No Day outlook Temperature Humidity Wind PlayTennis 9 Sunny cool normal weak yes 11 Sunny mild normal strong yes Day outlook Temperature Humidity Wind PlayTennis Humidity ＝ normal Humidity ＝ High Stop splitting !!! Outlook =Overcast Day outlook Temperature Humidity Wind PlayTennis 3 Overcast Hot High Weak yes 7 Overcast Cool Normal Strong yes 12 Overcast Mild High Strong yes 13 Overcast Hot Normal Weak yes Stop splitting !!! Lecture 3:Decision Tree and Entropy-1 邓志鸿 北京大学信息科学技术学院 * 回顾－Find-S 利用?g关系进行搜索 hj ?g hi ：（? x ? X）hi(x) =1 ? hj(x) =1 。 从最特化的概念开始，每当遇到不能覆盖的正样本，就泛化该概念，使其能够覆盖上述正样本。 特殊?一般 算法描述 1. 初始化h为概念空间H中最特化的概念 即在各个属性上都不能取值 2.对训练样本中的正样本x 对h在每个属性上的约束ai 如果x在该属性上满足ai ，则do nothing 否则用bi替换ai ， x在该属性上满足bi且bi是所有x满足的约束中是最小的 输出h 放松 约束 条件 把正样本 判定为正样本 回顾－版本空间 The general boundary（泛化边界） 给定概念空间H和训练样本集D，泛化边界G定义如下： G ?{g?H | consistent(g, D) ? (??g’ ?H ) [g’ ?g g ? consistent(g’ , D) ]} The specific boundary（特化边界） 给定概念空间H和训练样本集D，泛化边界G定义如下： S ?{s?H | consistent(s, D) ? (??s’ ?H ) [s ?g s’ ? consistent(s’ , D) ]} VSH,D ? {h ? H | (? s?S ? g?G )[g ?g h ?g s]} 证明 回顾－Candidate-Elimination learning Algorithm Initialize G to the set of most-general hypotheses in H Initialize S to the set of most-specific hypotheses in H For each training example, d, do: If d is a positive example then: Remove from G any hypotheses that do not match d For each hypothesis s in S that does n