信息论习题解说.docxVIP

[例2.1.4 条件熵] 已知X，Y,XY构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式： 首先求，有 [例2.1.5]将已知信源接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 0.98 0.02 0.2 0.8 解：（1）由求出各联合概率： （2）由得到Y集各消息概率： （3）由，得到X的各后验概率： 同样可推出 （4） =0.98(比特/符号) = 1.43（比特/符号） （5）平均互信息 （6）疑义度 （7）噪声熵 [例2.2.1]有一离散平稳无记忆信源 ，求此信源的二次扩展信源的熵。 先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X的输出长度为2的消息序列。由于扩展信源是无记忆的，故 信源的元素 对应的消息序列 概率 根据熵的定义，二次扩展信源的熵为 结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X的熵导出。即离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。 [例2.2.2]设某二维离散信源X=的原始信源X的信源模型为，X=中前后两个符号的条件概率为 7/9 2/9 0 1/8 3/4 1/8 0 2/11 9/11 原始信源的熵为： 由条件概率确定的条件熵为： 条件熵比信源熵（无条件熵）减少了0.672bit/symbol,正是由于符号之间的依赖性所造成的。信源X=平均每发一个消息所能提供的信息量，即联合熵 则每一个信源符号所提供的平均信息量 小于信源X所提供的平均信息量H(X)，这同样是由于符号之间的统计相关性所引起的。 [例2.2.3]设信源符号，信源所处的状态 。各状态之间的转移情况由下图给出。 将图中信源在状态下发符号的条件概率 用矩阵表示为 由矩阵可明显看出，。另从图中还可得 所以信源满足式(4) 由图还可得状态的进一步转移概率 该信源满足式(2)-(4)，所以是马尔可夫信源，并且是时齐的马尔可夫信源。 [例2.2.4]某二元2阶马尔可夫信源，原始信源X的符号集为，其状态空间共有个不同的状态，即，其状态转移概率图如下， 由上图可知，当信源处于状态时,其后发生符号0的概率是0.8,即, 状态仍停留在,即 。当信源仍处于状态，而发出的符号为1时，状态转移至，故一步转移概率。当信源处于状态时，其一步转移概率为，。 同理，当信源处于状态时， 当信源处于状态 这样，由二元信源X得到的状态空间和相应的一步转移概率构成的2阶马尔可夫信源模型为 且 由 可求出稳定状态下的，称为状态极限概率。 将一步转移概率代入上式得： 解此方程组得 计算极限熵 需要注意的是并非在任何情况下都存在。首先应记住的是：我们讨论的是平稳信源。其次，对n元m阶马尔可夫信源来说，只有极限概率都存在时，方能计算出。从理论上可以证明，如果m阶马尔可夫信源稳定后具有各态历经性，则状态极限概率可根据式（10）求出。 必须强调的是，m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系不同，对相应关系的数学描述不同，平均信息量的计算公式也不同。m阶马尔可夫信源的记忆长度虽为有限值m，但符号之间的依赖关系延伸到无穷，通常用状态转移概率（条件概率）来描述这种依赖关系。可理解为马尔可夫信源以转移概率发出每个信源符号，所以平均每发一个符号提供的信息量应是极限熵。而对于长度为m的有记忆信息源X，发出的则是一组组符号序列，每m个符号构成一个符号序列组，代表一个消息。组与组之间是相互统计独立的，因此符号之间的相互依赖关系仅限于符号之间的m个符号，一般用这m个符号的联合概率来描述符号间的依赖关系。对于这种有记忆信源，平均每发一个符号，（不是一个消息）提供的信息量，是m个符号的联合熵的m分之一，即平均符号熵 [例2.4.1]设某单符号信源模型为 计算得 若要求编码效率为90%,即 则 =0.28 设译码差错率为，由式（3）可得 由此可见，在差错率和效率的要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。 不仅如此，它的编码效率也不高。对8种可能的取值编定长码，要无差错