8.决策树与Adaboost重点讲义.pptVIP

决策树、Adaboost 北京10月机器学习班 邹博 2014年11月1日 复习：熵 sqrt(1-4x)exp(-2x),0x1/4 H(Y|X) = H(X,Y) - H(X) 条件熵定义 H(Y|X) = H(Y) - I(X,Y) 根据互信息定义展开得到 有些文献将I(X,Y)=H(Y) – H(Y|X)作为互信息的定义式 对偶式 H(X|Y)= H(X,Y) - H(Y) H(X|Y)= H(X) - I(X,Y) I(X,Y)= H(X) + H(Y) - H(X,Y) 有些文献将该式作为互信息的定义式 试证明：H(X|Y) ≤H(X)， H(Y|X) ≤H(Y) 强大的Venn图：帮助记忆 等式变化 根据H(Y|X) = H(Y) - I(X,Y) 得到I(X,Y) = H(Y) - H(Y|X) I(X,Y)：在X中包含的关于Y的信息 k近邻分类 决策树(Decision Tree) 一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。 决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。 决策树示意图 决策树学习 决策树学习是以实例为基础的归纳学习。 决策树学习采用的是自顶向下的递归方法，其