《信息论与编码原理》第2章信息的统计度量.ppt

连续随机变量的相对熵与绝对熵应该区别对待。 连续随机变量的绝对熵为无穷大，其物理意义与离散随机变量的信息熵相同，具有非负性。 在取两熵之间的差时，绝对熵中的无穷项可以抵消，故定义的相对熵不影响平均互信息量和信道容量的计算。所以相对熵又称为差熵。 非特殊指明，连续随机变量的熵指的是相对熵。虽然它在形式上和离散随机变量的信息熵相似，但在概念上不能把它作为信息熵来理解。相对熵只具有熵的部分含义和性质，而丧失了某些重要的特性。相对熵仍具有可加性、上凸性和极值性，但却不存在非负性。 说明： 连续随机变量的熵具有的性质 连续随机变量的平均互信息 连续随机变量的平均互信息的定义 平均互信息和其它熵之间的关系 连续随机变量的平均互信息与离散连续随机变量的平均互信息的区别 * * * （3）已知发出的和收到的符号，求能得到的信息量。 （4）已知收到的符号，求被告知发出的符号得到的信息量。 例题：二进制通信系统等概使用符号0和1，由于存在失真，传输时会产生误码，无记忆信道模型如下。试计算（1）已知发出一个0，求收到符号后得到的信息量。（2）已知发出的符号，求收到符号后得到的信息量。 0 1 0 1 1/2 3/4 x1 x2 y1 y2 解： 各种熵的关系 1) H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)≤H(X)+H(Y); X和Y统计独立时，取等号。 H(X/Y) ≤H(X) ; X和Y统计独立时，取等号。 条件熵总是小于或等于无条件熵。 例题 已知两个独立的随机变量x、y的分布律如下，计算 假定 Z=XY。计算H（X）、 H（Z）、 H（X/Y）、 H（XY）、 H（YZ） 2.5 离散随机变量的互信息和平均互信息 互信息的物理含义 互信息的性质 平均互信息 联合互信息和条件互信息 信息处理定理 2.6 连续随机变量的信息度量 一、连续随机变量的熵 1）绝对熵： 2）连续信源的熵（相对熵、差熵）： 2.2.3信息熵的性质 2.3 离散随机变量的联合自信息和联合熵 联合自信息量I(xi,yj)和联合熵H(X,Y) 1、联合自信息量： 元素对　　 中所含的信息量 2、联合熵： 联合符号集合（X，Y）上的平均每个元素对　　 中所含的信息量 物理意义 物理意义 2.4 离散随机变量的条件自信息和条件熵 条件自信息 条件熵 条件熵 条件熵 解： 《信息论与编码原理》 主讲人： 第2章 信息的统计度量 信息的度量通常有两种: 一种是对消息符号或消息符号集本身所含信息量多少的度量，比如信源符号包含的信息量； 另一种是对消息符号或消息符号集之间相互提供信息量多少的度量，比如信宿收到消息后获得关于信源的信息量。 前者用自信息和熵来描述，而后者用互信息和互熵来描述。 本章内容 2.1 随机变量的统计特性 2.2 离散随机变量的自信息和信息熵 2.3 离散随机变量的联合自信息和联合熵 2.4 离散随机变量的条件自信息和条件熵 2.5 离散随机变量的互信息和平均互信息 2.6 连续随机变量的信息度量 2.1 随机变量的统计特性 2.1.1 随机变量的分类及其描述 1、离散随机变量的统计特性 概率之间的关系 2、连续随机变量的统计特性 两种重要的连续随机变量 两种重要的连续随机变量 2.1.2信源的统计特性 2.1.3 信道的传输特性 单符号离散信道的概率空间 2.2 离散随机变量的自信息和信息熵 一、自信息量I(xi)和信息熵H(X) 《信息论与编码原理》 主讲人： * * *