信息论与编码理论－第讲－信息量和熵2培训课件.pptxVIP

2.1.4 平均互信息量;(1) 平均互信息量的定义;平均互信息的第三种定义 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。;(2) 平均互信息量的物理含义;I(X; Y) = H(X) –H(X/Y) 平均互信息量为信源熵减掉一个条件熵。 表明：以发送端（信源）的熵为参考，在接收端平均每收到一个符号所获得的信息量。 信道上没有任何干扰或噪声：I(X; Y) = H(X)； 信道存在干扰和噪声 干扰和噪声“污染”被传输的信息 到达接收端的平均信息量比信源熵少了一些 少掉的部分就是条件熵H(X/Y) 因此平???互信息量表征了对接收的每一个符号的正确性所产生怀疑的程度，故条件熵H(X/Y)又称之为疑义度。;② 观察者站在输入端;② 观察者站在输入端;③ 观察者站在通信系统总体立场上;I (X; Y) = H(X) + H(Y) – H(XY) 根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量， 其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。 ;结 论;举 例;解：(1) 求联合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.5×0.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.5×0.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.5×0.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.5×0.98=0.40 (2) 求Y的各消息概率 (3) 求X的各后验概率 (4) 求信源熵和联合熵;(5) 平均互信息 I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号 (6) 疑义度 (7) 噪声熵 ;(3) 平均互信息量的性质;① 对称性;② 非负性;自然对数性质：lnx≤x-1，x0，当且仅当x=1时取等号。 ;即 I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。;③ 极值性;④ 凸函数性; 平均互信息量的数学特性; I(X;Y)是 p(xi)的上凸函数;举 例;由信道决定的条件熵 ; 结论1： 当q不变/固定信道特性时，可得I(X;Y)随输入概率分布p变化的曲线，如图2.1.9所示； 二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。; I(X;Y)是 p(yj/xi)的下凸函数; 结论2： 当固定信源特性p时，I(X;Y)就是信道特性q的函数，如图2.1.10所示； 当二进制对称信道特性q=/q=1/2时，信道输出端获得信息量最小，即等于0。说明信源的全部信息信息都损失在信道中了。这是一种最差的信道。;⑤ 数据处理定理; 串联信道; 数据处理定理;结论： 两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量，也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 ;2.1.5 各种熵之间的关系;2.2 多符号离散信源;2.2.1 信源的分类;2.2.1 信源的分类;2.2.1 信源的分类;2.2.1 信源的分类;2.2.1 信源的分类;2.2.1 信源的分类;2.2.2 多符号离散信源;(1) 多符号离散信源;(2) 随机矢量/随机变量序列;(3) 多符号离散平稳信源;2.2.3 离散平稳无记忆信源;(1) 离散无记忆信源;① 基本概念;② 序列的成组传送;③ 离散无记忆信源的数学模型;N次扩展信源的数学模型 单符号离散信源的数学模型为 信源X的N次扩展信源用XN表示，它是具有nN个符