信息论与编码原理-第2、3章课后习题-20140526-22点-自己整理绪论.ppt

（2） 二维离散平稳信源的极限熵满足： 剩余度： （3） 因而 ，随着N的增加，N次扩充信源的平均熵 递减。 3.7 一阶马尔科夫链 ，各 的取值于集 ， 已知起始概率为 ，其状态转移概率 如表3.2(P54)所示。 （1） 该信源是否为其次遍历的马尔可夫信源？ （2） 该马尔可夫信源是否为离散平稳信源？ （3） 该信源在什么情况下可以看作是离散平稳信源? （4） 求信源的极限熵。 （5） 求 和 。 解：（1）由马尔可夫一步转移概率矩阵得： 因为 的元素中没有零元，因而该信源为齐次遍历马尔可夫 信源。 （2） 与最初的概率不同，因而不是离散平稳信源。 （3）经过足够长的时间，齐次遍历的马尔可夫信源达到稳定后可看做平稳信源。 （5） （4） 3.9 有一个二元二阶马尔可夫信源，其信源符号集为 ，在初始时刻，信源符号概率为 。条件概率为 ，即4种状 态00、01、10、11，假定分别用 符号表示。 （1） 写出该信源的状态转移矩阵。 （2） 计算达到稳定状态的极限概率。 （3） 计算该马尔可夫信源的极限熵。 （4） 计算达到稳定后符号0,1的概率分布。 （5） 初始时刻，该马尔可夫信源是否为平稳信源？ 解：（1） （2） （3） （4） （5） 因为初始时刻的概率与稳定时刻的概率相等，因此是平稳信源。 《信息论与编码原理》 第二、三章习题 2.2 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： (1)“3和5同时出现”事件的自信息量； 同时扔两个正常的骰子，可能呈现的状态有36种。因为两股子是独立的，各面呈现的概率是1/6，所以36种中任一状态出现的概率相等，均为1/36。 设“3和5同时出现”这一事件为A。在这36种状态中，3和5同时出现有两种情况即3,5和5,3。 (2)“两个1同时出现”事件的自信息量； 设“两个1同时出现”这一事件为B。在这36种状态中，两个1同时出现只有一种情况即1,1。 (3)“其向上的面的小圆点之和是3”事件的自信息量； 设“其向上的面的小圆点之和是3”这一事件为C。在这36种状态中，向上的面的小圆点之和是3有两种情况即1,2和2,1。 (4)两个点数之和(即2,3…12构成的子集)的熵； 设两个点数之和构成信源Z，它是由两个股子的点数之和组成，即Z=X+Y(一般的加法)，而 /符号 (5)两个点数中至少有一个是1的自信息； 在这36种状态中两个点数至少有一个是1的状态共有11种，即1,1、1,2… 1,6、2,1、3,1…6,1，每种状态独立出现且概率均是1/36。现设两个点数中至少有一个是1的事件为D，则 (6)两个点数的各个组合(无序对)的熵或平均信息量； 设两个点数的各种组合构成信源X。这信源X的符号集就是这36种状态，且等概分布，得 /符号 由题是无序对 2.5 某离散信源输出两个符号X1X2。已知第一个符号X1的概率分布为P(x1=0)=1/2，P(x1=1)=1/3，P(x1=2)=1/6。假定第二个符号与第一个符号之间的条件概率P(x2/x1)，如下表2.12所示。计算条件熵H(X2/X1)和联合熵H(X1X2)。 0 1 0 1/2 1/2 1 3/4 1/8 表2.12 条件概率P(x2/x1) 1/4 0 2 1/8 0 2 3/4 因为 条件熵 而 联合概率P(x1x2)=P(x1) P(x2/x1) 0 1 0 1/4 1/4 1 1/4 1/24 1/24 0 2 1/24 0 2 3/24 联合概率P(x1x2) 所以 联合熵H(X1X2)=H(1/4, 1/4, 0, 1/4, 1/24, 1/2