第12章 信源与信息熵.pptVIP

信源与信息熵;2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度;本章重点;2.1 信源的描述和分类;信源;香农信息论的基本点; ;离散 信源;2.1.1 无记忆信源;发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息;信源的描述;离散信源的统计特性;信源的描述;信源的描述;信源的描述;一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源;概率论基础;概率论基础;2.1.3 马尔可夫信源;马氏链的基本概念 ;马氏链的基本概念 ;马尔可夫信源;若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵;例2-1，如图所示是一个相对码编码器,输入的码Xr(r=1,2,…)是相互独立的，取值0或1，且已知P(X=0)=p, P(X=1)=1－p=q，输出的码是Yr，显然 ;so;马尔可夫信源;so;例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率 ;状态转移概率矩阵;稳态分布概率;例 一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0) = p(1) = 0.5发出随机变量X1。 下一单位时间：输出随机变量X2与X1有依赖关系;从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) ;信源发完第2个符号后再发第3个及以后的符号。 从第3单位时间以后信源必处在s3 s4 s5 s6四种状态之一。在i≥3后,信源的状态转移可用下图表示:;由题意,此马尔可夫信源的状态必然会进入这个不可约闭集,所以我们计算信源熵时可以不考虑过渡状态及过渡过程。 由 ;当马尔可夫信源达到稳定后,符号0和符号1的概率分布：;习题;信源与信息熵;2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度;;信源的描述;so;例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率 ;00;稳态分布概率;2.2 离散信源熵和互信息;离散信源熵和互信息;离散信源熵和互信息;2.2.1 自信息量;自信息量;自信息量;自信息量;自信息量; ;自信息量;自信息量; 例 2-3 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。 分别计算它们的自信息量。 ;例 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意,这一随机事件的概率空间为 ;如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit 如果摸出的是白球，则获得的信息量是 I (