C4.5算法概述汇编.docx

C4.5算法概括汇编 C4.5算法概括汇编 C4.5算法概括汇编 目录 1 决议树算法 ............................................................................................. 2 1.1 详细应用处景和意义 ........................................................................ 2 1.2 现状剖析 ............................................................................................ 3 2 C4.5 算法对 ID3 算法的改良 .................................................................. 4 3 C4.5 算法描绘 ......................................................................................... 7 3.1 C4.5 算法原理 .................................................................................. 7 3.2 算法框架 .......................................................................................... 8 3.3 C4.5 算法伪代码 .............................................................................. 9 4 实例剖析 ................................................................................................. 9 5 C4.5 算法的优势与不足 ....................................................................... 12 5.1 C4.5 算法的优势 ............................................................................ 12 5.2 C4.5 算法的不足： ........................................................................ 12 参照文件 ...................................................................................................... 12 C4.5 算法综述 纲要 最早的决议树算法是由 Hunt 等人于 1966 年提出的 CLS。目前最有影响的决 策树算法是 Quinlan 于 1986 年提出的 ID3 和 1993 年提出的 C4.5。ID3 只好办理失散型描绘属性， 它选择信息增益最大的属性区分训练样本， 其目的是进行分枝时系统的熵最小，进而提升算法的运算速度和精准度。 ID3 算法的主要缺点是，用信息增益作为选择分枝属性的标准时， 偏向于取值许多的属性， 而在某些状况下，这种属性可能不会供给太多有价值的信息。 C4.5 是 ID3 算法的改良算法，不单能够办理失散型描绘属性，还可以办理连续性描绘属性。 C4.5 采纳了信息增益比作为选择分枝属性的标准，填补了 ID3 算法的不足。 C4.5 算法在 ID3 算法的基础长进行了改良，关于展望变量的缺值办理、剪枝技术、派生规则等方面作了较大的改良， 既合适于分类问题， 又合适于回归问题，是目前应用最为宽泛的概括推理算法之一， 在数据发掘中收到研究者的宽泛关注。 决议树算法 1.1 详细应用处景和意义 决议树（ Decision Tree）是用于分类和展望的主要技术，它着眼于从一组无规则的案例推理出决议树表示形式的分类规则， 采纳自顶向下的递归方式， 在决议树的内部节点进行属性值的比较， 并依据不一样属性判断从该节点向下分支， 在决议树的叶节点获得结论。 所以，从根节点到叶节点就对应着一条合理规则， 整棵树就对应着一组表达式规则。 鉴于决议树算法的一个最大的长处是它在学习过程中不需要使用者认识好多背景知识， 只