树(详细易懂,很多例子).pptVIP

I : the expected information needed to classify a given sample E (entropy) : expected information based on the partitioning into subsets by A arbitrary tuple：任意元组 例子：算法过程 Refund Yes No samples中所有样本属于同一个类Cheat=No 2. samples = {1,4,7 } attribute_list = { MarSt, TaxInc } NO * 例子：算法过程 Refund Yes No 假设选择MarSt为最优分割属性： 3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc } NO MarSt Single Married Divorced 4. samples = { 3,8,10 }, attribute_list = {TaxInc} 5. samples = { 5,7 }, attribute_list = {TaxInc} 6. samples = { 2,9 }, attribute_list = {TaxInc} * 例子：算法过程 Refund Yes No 选择TaxInc为最优分割属性： 4. samples = { 3,8,10 } attribute_list = { TaxInc } NO MarSt Single Married Divorced TaxInc 80K = 80K YES NO * 问题1：分类从哪个属性开始？ ——选择分裂变量的标准 问题2：为什么工资以80为界限？ ——找到被选择的变量的分裂点的标准（连续变量情况） * 分类划分的优劣用不纯性度量来分析。如果对于所有分支，划分后选择相同分支的所有实例都属于相同的类，则这个划分是纯的。对于节点m，令 为到达节点m的训练实例数， 个实例中 个属于 类，而 。如果一个实例到节点m，则它属于 类的概率估计为： 节点m是纯的，如果对于所有i， 为0或1。当到达节点m的所有实例都不属于 类时， 为0，当到达节点m的所有实例都属于 类时， 为1。 一种度量不纯性的可能函数是熵函数（entropy)。 * Father of information theory 证明熵与信息内容的不确定程度有等价关系 系统科学领域三大论之一 C.Shannon的信息论 信息熵 熵(entropy) 描述物质系统状态:该状态可能出现的程度。 平均信息量 若一个系统中存在多个事件E1,E2,…En 每个事件出现的概率是p1,p2,…pn 则这个系统的平均信息量是 指的是系统的混乱的程度! (bits) * ? 系统越无序、越混乱，熵就越大。 ? 构造决策树，熵定义为无序性度量。 ? 选择一个属性划分数据，使得子女节点上数据的类值（例中“yes”或“no”）大部分都相同（低无序性）。 ? 如果一个节点上的数据类值在可能的类值上均匀分布，则称节点的熵（无序性）最大。 ? 如果一个节点上的数据的类值对于所有数据都相同，则熵最小。 ? 通过分裂，得到尽可能纯的节点。这相当于降低系统的熵。 * 例子 气象数据集，都是标称属性 什么因素影响是否去 打网球？ Outlook Temperature Humidity Windy Play? sunny hot high false No sunny hot high true No overcast hot high false Yes rain mild high false Yes rain cool normal false Yes rain cool normal true No overcast cool normal true Yes sunny mild high false No sunny cool normal false Yes rain mild normal false Yes sunny mild normal true Yes overcast mild high true Yes overcast hot normal false Yes rain mild high true No * 1.基于天气的划分 2.基于温度的划分 3.基于湿度的划分 4.基于有风的划分