决策树培训讲义.pptVIP

YES NO 年 龄 职 业 YES 缴费方式 YES YES NO YSES NO NO 在网时长 NO F1 F2 F3 N1 N2 N3 T1 T2 T3 Z1 Z2 Z3 H1 H2 费用变化率 第6章 决策树 决策树算法 ID3算法实际应用-在电信行业应用实例（6） 在图中，NO表示客户不流失，YES表示客户流失。从图可以看出，客户费用变化率 为100%的客户肯定已经流失；而费用变化率低于30%的客户；即每月资费相对稳定的客 户一般不会流失，费用变化率在30%～99%的客户有可能流失，其中年龄在40～50岁之间 的客户流失的可能性非常大，而年龄低于40岁的客户，用充值卡缴费的客户和在网时间较 短的客户容易流失；年龄较大的客户，则工人容易流失。 主要内容 决策树基本概念 决策树算法 决策树研究问题 主要参考文献 第6章 决策树 CLS算法问题 决策树算法 采用不同的测试属性及其先后顺序将会生成不同的决策树 鸡肉 猪肉 猪肉 牛肉 牛肉 牛肉 不缺钙（2） 缺钙（3，6） 不缺钙（4） 不缺钙（10） 缺钙（5） 不缺钙（1） 鱼肉 缺钙（5） 不缺钙（7，9） 是 否 是 否 否 否 否 否 否 是 是 是 是 是 第6章 决策树 牛奶 不缺钙 （1，2，4， 7，9，10） 缺钙 （3，5，6，8） CLS算法问题 决策树算法 在上例中，显然生成的两种决策树的复杂性和分类意义相差 很大由此可见，选择测试属性是决策树学习算法中需要研究的重 要课题。 第6章 决策树 ID3 决策树算法 ID3算法主要针对属性选择问题。是决策树学习方法中最 具影响和最为典型的算法。 该方法使用信息增益度选择测试属性。 当获取信息时，将不确定的内容转为确定的内容，因此信 息伴着不确定性。 从直觉上讲，小概率事件比大概率事件包含的信息量大。 如果某件事情是“百年一见”则肯定比“习以为常”的事件包含的 信息量大。 如何度量信息量的大小？ 第6章 决策树 ID3 –信息量大小的度量 决策树算法 Shannon1948年提出的信息论理论。事件ai的信息量I（ ai ）可 如下度量： 其中p(ai)表示事件ai发生的概率。 假设有n个互不相容的事件a1,a2,a3,….,an,它们中有且仅有一个 发生，则其平均的信息量可如下度量： 第6章 决策树 ID3 –信息量大小的度量 决策树算法 上式，对数底数可以为任何数，不同的取值对应了熵的不同单位。 通常取2，并规定当p(ai)=0时 =0 公式1 在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本 划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|， |C2|，…..,|Cn|。则任意样本S属于类Ci的概率为： 第6章 决策树 ID3 –信息量大小的度量 决策树算法 Entropy（S，A）=∑（|Sv|/|S|）* Entropy（Sv）公式2 ∑是属性A的所有可能的值v,Sv是属性A有v值的S子集 |Sv|是Sv 中元素的个数；|S|是S中元素的个数。 第6章 决策树 ID3 –信息量大小的度量 决策树算法 Gain（S，A）是属性A在集合S上的信息增益 Gain（S，A）= Entropy（S） -Entropy（S，A） 公式3 Gain（S，A）越大，说明选择测试属性对分类提供的信息越多 第6章 决策树 不买 优 否 中 老 63 买 优 否 中 老 1 买 良 是 高 中 32 买 优 否 中 中 32 买 优 是 中 青 64 买 良 是 中 老 132 买 良 是 低 青 64 不买 良 否 中 青 128 买 优 是 低 中 64 不买 优 是 低 老 64 买 良 是 低 老 64 买 良 否 中 老 60 买 良 否 高 中 128 不买 优 否 高 青 64 不买 良 否 高 青 64 归类：买计算机？ 信誉 学生 收入 年龄 计数 决策树算法 第6章 决策树 不买 优 否 中 老 63 买 优 否 中 老 1 买 良 是 高 中 32 买 优 否 中 中 32 买 优 是 中 青 64 买 良 是 中 老 132 买 良 是 低 青 64 不买 良 否 中 青 128 买 优 是 低 中 64 不买 优 是 低 老 64 买 良 是 低 老 64 买 良 否 中 老 60 买 良 否 高 中 128 不买 优 否 高 青 64 不买 良 否 高 青 64 归类：买计算机？ 信誉 学生 收入 年龄 计数 第1步计算决策属性的熵 决