数据仓库与数据挖掘7.pptxVIP

第7章 信息论方法;7.1 信息论原理 7.2 决策树方法 ;7.1 信息论原理 信息论是C.E.Shannon为解决信息传递（通信）过程问题而建立的理论，也称为统计通信理论。 1. 信道模型 一个传递信息的系统是由发送端（信源）和接收端（信宿）以及连接两者的通道（信道）三者组成。;在进行实际的通信之前，收信者（信宿）不可能确切了解信源究竟会发出什么样的具体信息，不可能判断信源会处于什么样的状态。 这种情形就称为信宿对于信源状态具有不确定性。而且这种不确定性是存在于通信之前的。因而又叫做先验不确定性，表示成 信息熵 H（U）; 在进行了通信之后，信宿收到了信源发来的信息，这种先验不确定性才会被消除或者被减少。 如果干扰很小，不会对传递的信息产生任何可察觉的影响，信源发出的信息能够被信宿全部收到，在这种情况下，信宿的先验不确定性就会被完全消除。;一般情况下，干扰总会对信源发出的信息造成某种破坏，使信宿收到的信息不完全。先验不确定性不能全部被消除，只能部分地消除。 通信结束之后，信宿仍然具有一定程度的不确定性。这就是后验不确定性，用条件熵表示H（U/V）。 后验不确定性总要小于先验不确定性: H（U/V） H（U）;如果后验不确定性的大小正好等于先验不确定性的大小，这就表示信宿根本没有收到信息。 如果后验不确定性等于零