决策树算法与Adaboost集成学习深度解析.pptVIP

决议树、Adaboost

北京10月机器学习班邹博

年11月1日

第1页

复习：熵

sqrt(1-4x)exp(-2x),0x1/4

H(Y|X)=H(X,Y)-H(X)

条件熵定义

H(Y|X)=H(Y)-I(X,Y)

依据互信息定义展开得到

有些文件将I(X,Y)=H(Y)–H(Y|X)作为互信息的定义式

对偶式

H(X|Y)=H(X,Y)-H(Y)

H(X|Y)=H(X)-I(X,Y)

I(X,Y)=H(X)+H(Y)-H(X,Y)

有些文件将该式作为互信息的定义式

试证明：H(X|Y)≤H(X)， H(Y|X)≤H(Y)

第2页

强大的Venn图：协助记忆

第3页

等式变化

依据H(Y|X)=H(Y)-I(X,Y)

得到I(X,Y)=H(Y)-H(Y|X)

I(X,Y)：在X中包括的关于Y的信息

第4页

k近邻分类

第5页

决议树(DecisionTree)

一种描述概念空间的有效的归纳推理方法。基于决议树的学习方法能够进行不相关的多概念学习，含有简单快捷的优势，已经在各个领域获得广泛应用。

决议树是一种树型结构，其中每个内部结点表示在一种属性上的测试，每个分支代表一种测试输出，每个叶结点代表一种类别。

第6页

决议树示意图

第7页

决议树学习

决议树学习是以实例为基础的归纳学习