第2章信源与信息熵-Qtech.pptVIP

* 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，pj称为平稳分布； 2.3离散序列信源的熵 * 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj； 2.3离散序列信源的熵 * 不可约性，对于任意一对I和j，都存在至少一个k，使pij(k)0.（从si开始，总有可能到达sj） 非周期性，所有pij(n)0的n中没有比1大的公因子。（ 注：当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。 ） 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 2.3离散序列信源的熵 * Eg.有一个相对编码器，求平稳分布。 2.3离散序列信源的熵 输入码Xr是相互独立的，取值0或1，已知P(X=0)=p,P(X=1)=1-p=q;显然： Y1=X1,Y2=X2 Y1,…… Yr为一个马尔科夫链；（Why？） * 2.3离散序列信源的熵 且知Yr序列的条件概率为： 即存在转移矩阵： ，其与r无关，因而是齐 次的。其状态转移图如下： 该马尔科夫链具有不可约性与非周期性。 0 1 q q p p * 2.3离散序列信源的熵 由方程组 可求得稳态概率分布： ，所以该马尔科夫链是可遍历的。 * 2.2离散信源熵与互信息 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列 Y为条件的集合 * 2.2离散信源熵与互信息 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列 * 2.2离散信源熵与互信息 联合熵、条件熵与熵的关系 解：可直接求出： 联合概率： 同理可得： 则条件熵： 从而得到联合熵： * 例2-8：一个二进制信源x发出符号集{0，1}，经过离散无记忆信道传输，信道输出用Y表示 。由于信道中存在噪声，接受端受到0和1的符号外，还有不确定的符号，有“？”表示 。已知X的先验概率为 符号转移概率为 其余为0； 求：H(x),H(Y|X),H(X,Y),H(X|Y) * 例：二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下 列事件。U0：一个0发出；u1:一个1发出；v0：一个0收到；v1：一个1收到。 给定下列概率： （1）已知发出一个0，求收到符号后得到的信息量； （2）已知发出的符号，求收到符号后得到的信息量； （3）已知发出和收到的符号，求能得到的信息量； （4）已知收到的符号，求被告知发出的符号得到的信息量。 解：（1） （2）联合概率 （3）方法1： 方法2：因为 （4）可以求得： 方法1： 方法2：利用贝叶斯定理 同样： * * 内容回顾 自信息量： 单符号离散信源熵 离散信源条件熵 离散信源联合熵 * * 2.2离散信源熵与互信息 单符号离散信源互信息 例2-8中 ，在已知Y（或接收到）后，X的不确定度减少了。不确定度的减少量就是接收者通过信道传输收到的信源X的信息量，称为X与Y的互信息I(X;Y); * 2.2离散信源熵与互信息 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义为互信息，单位为比特； 符号后验概率与先验概率比值的对数； * 2.2离散信源熵与互信息 单符号离散信源互信息 * 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为： 2.2离散信源熵与互信息 * 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为： 2.2离散信源熵与互信息 * Eg1(p23) 设信源发出8种消息符号，各消息等概率发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息为x4，用二进码011表示。作为观察者，已知信源各消息符号等概率出现，但不知道某时刻发出什么符号。当观察道输出的二进制码后，可计算出各消息符号的后验概率，如表所示。 2.2离散信源熵与互信息 * 2.2离散信源熵与互信息 信源输出消息 二进制码 后验概率 先验概率 收到0后 收到01后 收到001后 x1 000 1/8 1/4 0 0