决策树信息论C45算法.pptVIP

C4.5算法讲解 2012.11.29 知识结构 决策树基础 女孩家长 安排相亲 女孩 不厌其烦 女孩 提出决策树 父母筛选 候选男士 决策树基础 有向无环 二叉/多叉树 父节点：没有子节点的节点 内部节点：有父节点、子节点的节点 叶节点：有父节点没有子节点的节点 决策树基础 父节点 内部节点 决策树基础 训练集：数据的集合，用于生成树（模型） 测试集：用于测试树（模型）的性能 决策树作用： 通过训练集 算法指导下 生成决策树 新数据进行划分 否则是“三拍”决策 决策树基础 实例 决策树基础 ……@）￥——JK)I*^Fkl9*^%*UIDOFGJ 决策树基础 决策树基础 好的决策树：（MDL准则下为例） Minimum Description Length 训练集中大多数数据符合这棵树 例外的数据单独编码 决策树基础（选择掌握） 如何描述决策树 决策树基础 信息论基础 信息论基础—信息量 信息论基础 信息论基础 先验熵——自信息量——熵H（X） 原意：热力学中形容失序现象和复杂程度 现意：一个事件X的平均信息量 熵越大，不确定性就越大，正确估计其值的可能性就越小。 XXX熵===XXX的信息量的加权 信息论基础 信息论基础 信息论基础 信息论基础 信息论基础 熵H(X) 原意：热力学中形容失序现象和复杂程度 现意：一个事件X的平均信息量 熵越大，不确定性就越大，正确估计其值的可能性就越小。 XXX熵===XXX的信息量的加权 后验熵=后验概率的信息量的加权 信息论基础 信息论基础 信息论基础 信息论基础 信息论基础 条件熵 即对后验墒的所有可能辅助条件Yj累计 信息论基础 信息论基础 信息论基础 对于条件墒H(X|Y) 由于辅助条件Y的存在 由熵——不确定程度——事件X的平均信息量 所以一般情况下 H(X)=H(X|Y) I(X|Y)=H(X)-H(X|Y) 信息论基础 信息论基础 因此定义互信息量I(X,Y)——信息增益 I(X,Y)信息增益才是接收端获得的信息量 我没收到任何东西前，我不知道你发了是什么 我收到了一些东西后，才有机会猜你到底发了什么 信息论基础 ID3算法 ID3算法 ID3算法 ID3算法 互信息量最大 ID3算法（选择掌握） ID3算法 每个名字都有它的意义 御手洗！@#@！#￥￥#…… Fox电影公司 = 狐狸电影公司 Paramount电影公司 = 最牛的电影公司 美国总统Bush = 美国总统灌木丛 ID3为什么是 Iterative Dichotomiser迭代二分器 ID3算法 Iterative（迭代） 当前的输出结果会返回到程序开始作自变量。 Dichotomiser（二分器） ID3算出的决策树的“类别”只有“是”、“否” 如“流感”决策树 ID3算法:主算法 ID3算法:建树算法 ID3算法（选择掌握） ID3算法 C4.5算法 C4.5算法 C4.5算法（不科学的证明） C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法 C4.5算法（选择掌握） 参考文献 /guoqiangma/article/details/7188639 /view/298415.htm /view/96473.htm /view/8be6aa18c5da50e2524d7fb2.html /view/589872.htm /yaoyaozii/article/details/5278576 参考文献 /yaoyaozii/article/details/5278576 /wiki/C4.5_algorithm /~giorgio/cis587/readings/id3-c45.html /view/4c7d8f82e53a580216fcfe61.html /view/4c7d8f82e53a580216fcfe61.html 参考文献 /view/66ac453a376baf1ffc4fad66.html 参考文献 《数据挖掘原理与算法》科学出版社 邵峰晶等编著； 《数据挖掘算法与应用》北京大学出版社 梁循编著 《现代通信原理》清华大学出版社 曹志刚等编著 数据集 (一组 表格) 子集2 子集1 子集3 子集4 子集5 子集6 子集7 子集8 C4.5 决策树2 用 于 生 成 树 用于验证 K=8的8阶交叉