人工智能-决策树.docVIP

决策树 介绍了决策树的基本概念和CART,CHAID,C4.5三个生成算法。 引言 决策树对比神经元网络的优点在于可以生成一些规则。当我们进行一些决策，同时需要相应的理由的时候，使用神经元网络就不行了。 本章介绍三个算法 CART,CHAID,C4.5。 决策树是如何工作的 决策树一般都是自上而下的来生成的。 选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。 从根到叶子节点都有一条路径，这条路径就是一条“规则”。 决策树可以是二叉的，也可以是多叉的。 对每个节点的衡量： 通过该节点的记录数 如果是叶子节点的话，分类的路径 对叶子节点正确分类的比例。 有些规则的效果可以比其他的一些规则要好。 决策树对于常规统计方法的优点。 CART Diversity(整体)-diversity(左节点)-diversity(右节点)，值越大，分割就越好。 三种diversity的指标： min(P(c1),P(c2)) 2P(c1)P(c2) [P(c1)logP(c1)]+[P(c2)logP(c2)] 这几个参数有相同的性质：当其中的类是均匀分布的时候，值最大；当有一个类的个数为0的时候，值为0。 选择分割的时候，对每个字段都考虑；对每个字段中的值先排序，然后再一一计算。最后选出最佳的分割。 树的生成： 错误率的衡量：最初生成的树中也是有错误率的！因为有些叶子节点并不