信息论课件第-讲信息度量.pptVIP

第二章、离散信源及其信息度量 第一、二、三讲、信息度量 第四讲、离散无记忆信源 第五讲、离散有记忆信源的极限熵 第六讲、马尔科夫信源（上） 第七讲、马尔科夫信源（下） 第八讲、信源的相关性及剩余度 如1：巴西队获取2010年世界杯。 当你接收到这样一条新闻时，你不会太吃惊，因为这个事件发生的可能性较大，而且其相对你来说没有多少意义，信息量为0。 如2：中国队获得2010年世界杯。 当你接到这条新闻，你一定会大吃一惊，联想翩翩：1、只有中国参加？2、中国企业冠名每个世界强队等等。我们知道，这件事发生的可能性为0，得到这个消息就意味着可以带来无穷想象。信息量无穷大。 1.1.2 自信息量的计算公式 证 明 引理： 设f(x)满足：① f(0)=+∞; f(1)=0. ② f(x) ↓ ③ f(x*y)=f(x)+f(y) ，x,y∈(0, 1). 则 f(x)=clnx，且c 0。 1.1.3 计算自信息量的例子 1.1.4 自信息量的涵义 1.5 自信息量的性质 1、单位 1.2、离散信源的熵 1.2.1 平均自信息量——熵的定义 1.2.2 熵的几条性质 证 明 1.2.3 计算熵的例子 前面我们介绍了信源发出消息由一个符号表示的情况，从而可以得到信源每个消息的自信息量和信源的平均自信息量。（等价于一维随机变量） 1.3、条件自信息量 1.3.2 计算条件自信息量的例子 1.4、互信息量 1.4.2 互信息量的性质 1.5 条件熵的定义 1.5.2 计算条件熵的例子 1.6 平均互信息量 1.6.1 平均互信息量的性质 ⑥、I(X; Y)≤H(X)，I(X; Y)≤H(Y)。 （性质4有多种简单的证明方法。 第一种证明方法：由I(X; Y)的定义可得。 第二种证明方法： I(X; Y)=H(X)-H(X|Y)≤H(X)。 ⑥’、 若X是Y的确定的函数X=g(Y)，则 I(X; Y)=H(X)≤H(Y)。 若Y是X的确定的函数Y=g(X)，则 I(X; Y)=H(Y)≤H(X)。 （证略） 一般印象 （平均互信息量I(X; Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合）。 一般情形：总有 0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形：若X与Y相互独立，则I(X; Y)=0。 另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则 I(X; Y)=min{H(X), H(Y)}。 三个变量的情况 符号xi与符号对(yj,zk)间的互信息： 在zk条件下，xi与yj之间的互信息： 三维联合集的平均互信息： 很显然，从通信的角度来看，上述两个差值应该相等，即： 事实上，由概率论概率的乘积公式有： 这样，用I(x;y)或I(y;x)记该差式，称为x与y之间的互信息量，单位也为比特。 故： 一、对称性 二、当x与y统计独立时 三、I(x;y)可正可负 四、 五、 例7、信源发出符号X={0,1}，经干扰接收到Y={0,1,?}。其中 求: 熵是信源平均不确定性的度量,一般情况下,它并不等于信宿所获得的平均信息量,只有在无噪情况下,二者才相等.为此我们需要学习条件熵.同时我们由条件熵引出平均互信息量的概念,其可以用来衡量一个信道的好坏. 设X是信源的消息集,Y是信宿消息集,对条件自信息量 取统计平均值得到条件熵 ,即： 其中 为联合概率, 为条件概率. 例8 设一个二进制对称信道BSC： 其先验概率为p(0)=p(1)=1/2，试计算条件熵. [解答]由已知条件得： 由条件熵的定义有： 通讯系统： 单位：bit/符号 注意：I(x;y)可正可负，但是I(X;Y)一定大于0 关于输入分布 成上凸函数（ 视为常数） 关于条件分布 成下凸函数（ 视为常数） ④. 左边的圆代表符号集X的熵，右边的圆代表符号集Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去平均互信息后剩余的部分代表两个条件熵。 各种熵之间的关系 * 信源发出的消息常常是随机的，具有不确定性。如果信源中某一消息的不确定性越大，一旦发生，并为收信者收到，消除的不确定性就越大，获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关，概率越小，不确定性就越大。