决策树模型.pptVIP

决策树模型(Decision Tree) 分类(Classification) 分类的意义 分类的技术 分类的过程 1.模型建立(Model Building) 2.模型评估(Model Evaluation) 3.使用模型(Use Model) Example 决策树(Decision Tree)介绍 决策树的形成 7.1 信息论原理 7.2 决策树方法 7.1 信息论原理 信息论是C.E.Shannon为解决信息传递（通信）过程问题而建立的理论，也称为统计通信理论。 1. 信道模型 一个传递信息的系统是由发送端（信源）和接收端（信宿）以及连接两者的通道（信道）三者组成。 在进行了通信之后，信宿收到了信源发来的信息，这种先验不确定性才会被消除或者被减少。 如果干扰很小，不会对传递的信息产生任何可察觉的影响，信源发出的信息能够被信宿全部收到，在这种情况下，信宿的先验不确定性就会被完全消除。 如果后验不确定性的大小正好等于先验不确定性的大小，这就表示信宿根本没有收到信息。 如果后验不确定性的大小等于零，这就表示信宿收到了全部信息。 可见，信息是用来消除（随机）不确定性的度量。信息量用互信息来表示，即： I（U，V）＝H（U）－ H（U/V） 互信息的计算 1．定义 （1）设S为训练集，有n个特征（属性），表示为（A1，A2，...，，An）。｜S｜表示例子总