- 1、本文档共39页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
(2) 二维离散平稳信源的极限熵满足: 剩余度: (3) 因而 ,随着N的增加,N次扩充信源的平均熵 递减。 3.7 一阶马尔科夫链 ,各 的取值于集 , 已知起始概率为 ,其状态转移概率 如表3.2(P54)所示。 (1) 该信源是否为其次遍历的马尔可夫信源? (2) 该马尔可夫信源是否为离散平稳信源? (3) 该信源在什么情况下可以看作是离散平稳信源? (4) 求信源的极限熵。 (5) 求 和 。 解:(1)由马尔可夫一步转移概率矩阵得: 因为 的元素中没有零元,因而该信源为齐次遍历马尔可夫 信源。 (2) 与最初的概率不同,因而不是离散平稳信源。 (3)经过足够长的时间,齐次遍历的马尔可夫信源达到稳定后可看做平稳信源。 (5) (4) 3.9 有一个二元二阶马尔可夫信源,其信源符号集为 ,在初始时刻,信源符号概率为 。条件概率为 ,即4种状 态00、01、10、11,假定分别用 符号表示。 (1) 写出该信源的状态转移矩阵。 (2) 计算达到稳定状态的极限概率。 (3) 计算该马尔可夫信源的极限熵。 (4) 计算达到稳定后符号0,1的概率分布。 (5) 初始时刻,该马尔可夫信源是否为平稳信源? 解:(1) (2) (3) (4) (5) 因为初始时刻的概率与稳定时刻的概率相等,因此是平稳信源。 《信息论与编码原理》 第二、三章习题 2.2 同时掷两个正常的骰子,也就是各面呈现的概率都是1/6,求: (1)“3和5同时出现”事件的自信息量; 同时扔两个正常的骰子,可能呈现的状态有36种。因为两股子是独立的,各面呈现的概率是1/6,所以36种中任一状态出现的概率相等,均为1/36。 设“3和5同时出现”这一事件为A。在这36种状态中,3和5同时出现有两种情况即3,5和5,3。 (2)“两个1同时出现”事件的自信息量; 设“两个1同时出现”这一事件为B。在这36种状态中,两个1同时出现只有一种情况即1,1。 (3)“其向上的面的小圆点之和是3”事件的自信息量; 设“其向上的面的小圆点之和是3”这一事件为C。在这36种状态中,向上的面的小圆点之和是3有两种情况即1,2和2,1。 (4)两个点数之和(即2,3…12构成的子集)的熵; 设两个点数之和构成信源Z,它是由两个股子的点数之和组成,即Z=X+Y(一般的加法),而 /符号 (5)两个点数中至少有一个是1的自信息; 在这36种状态中两个点数至少有一个是1的状态共有11种,即1,1、1,2… 1,6、2,1、3,1…6,1,每种状态独立出现且概率均是1/36。现设两个点数中至少有一个是1的事件为D,则 (6)两个点数的各个组合(无序对)的熵或平均信息量; 设两个点数的各种组合构成信源X。这信源X的符号集就是这36种状态,且等概分布,得 /符号 由题是无序对 2.5 某离散信源输出两个符号X1X2。已知第一个符号X1的概率分布为P(x1=0)=1/2,P(x1=1)=1/3,P(x1=2)=1/6。假定第二个符号与第一个符号之间的条件概率P(x2/x1),如下表2.12所示。计算条件熵H(X2/X1)和联合熵H(X1X2)。 0 1 0 1/2 1/2 1 3/4 1/8 表2.12 条件概率P(x2/x1) 1/4 0 2 1/8 0 2 3/4 因为 条件熵 而 联合概率P(x1x2)=P(x1) P(x2/x1) 0 1 0 1/4 1/4 1 1/4 1/24 1/24 0 2 1/24 0 2 3/24 联合概率P(x1x2) 所以 联合熵H(X1X2)=H(1/4, 1/4, 0, 1/4, 1/24, 1/2
文档评论(0)