信息论与编码基础教程第二章2.ppt

定理:对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 2.限平均功率最大熵定理 Hc(X) nat/消息 高斯白噪声是正态分布 2.4 连续信源 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度). L 如果一个消息所包含的符号比表达这个消息所需要的符号多的话，那么这样的消息就存在冗余度。 Shannon?指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 2.5 冗余度2.5.1 冗余度定义 2.5 冗余度 定义:冗余度 其中：H∞(X)--为信源实际熵； Hm(X)--信源最大熵。 若 称为信息效率。则 2.5 冗余度 第2章 信源及信源熵 2.5.2 冗余度来源 1．信源符号间的相关性 由公式H0(X)≥H1(X)≥H2(X)≥…H∞(X)知，信源输出符号间的依赖关系使得信源熵减小,这就是信源的相关性。相关程度越大,信源的实际熵越小,趋于极限熵H∞(X)，这时冗余度就越大。 2.5 冗余度 2．信源符号分布的不均性 等概分布时信源熵最大,而实际应用中大多是不均匀分布,使得实际熵减小。实际熵减小，冗余度增大。如是均匀分布,则 ，冗余度为零。 2.5 冗余度 第2章 信源及信源熵 【例2.5-1】一个输出A，B，C，D四个符号的信源,它输出10个符号的序列包含的最大可能的信息量为 Imax=10Hmax(X) 假定当信源由于符号间的相关性或不等概，信源的熵降到Hc=1.2比特/符号，则10个符号所携带的总信息量为 Ic=10×1.2=12（比特） 2.5 冗余度 第2章 信源及信源熵 相关性信源输出10个符号时，输出12比特的信息量,如果信源无相关性且等概，每个符号可输出2个比特，则12比特的信息量只需要输出6个符号的序列即可。 这就是说,有相关性和不等概的信源存在冗余,或者说，输出同样的信息量有冗余的信源输出的符号数要比无冗余的信源输出的符号数要多。 Imax=10Hmax(X) Ic=10×1.2=12（比特） 2.5 冗余度 【例2.5-2】以英文字母组成的信源为例，信源的输出是英文字母组合成的序列，英文字母共26个，加上空格共27个，见表2-5 。 最大信源熵 Hm=㏒227=4.76(比特/符号)。 只考虑英文字母出现的概率，不考虑字母之间的依赖关系，近似为无记忆信源熵，由表中概率得： 2.5 冗余度 表2-5 英文字母出现的概率 符号 概率pi 符号 概率pi 符号 概率pi 符号 概率pi 空格 0.2 I 0.055 C 0.023 B 0.0105 E 0.105 R 0.054 F，U 0.0225 V 0.008 T 0.072 S 0.052 M 0.021 K 0.003 O 0.0654 H 0.047 P 0.0175 X 0.002 A 0.063 D 0.035 y，W 0.012 J，Q 0.001 N 0.059 L 0.029 G 0.011 Z 0.001 2.5 冗余度 又可写为： 其中ei是m阶马尔可夫信源稳定后的状态极限概率, ej/ei是状态一步转移概率。 上式中（xk1xk2…..xkm)可表示状态ei，信源处在状态ei时发出下一个符号xk，则信源从状态ei转移到状态ej,所以可写 2.3.3马尔可夫信源 3．定理 定理: 对于有限齐次马尔可夫链。若存在一个正整 数 0≥1,对于一切i,j=1.2.3……qm都有 则对每一个j都存在依赖于i的极限. 称马尔可夫链是各态历经的,状态极限概率是方程组 (1)根据题意画出状态转移图，判断是否为时齐遍历马尔可夫信源; (2)根据状态转移图写出一步转移概率矩阵，计算信源的极限概率p(ei); (3)根据一步转移概率矩阵和极限概率p(ei)计算信源的信息熵。 2.3.3马尔可夫信源 4．马尔可夫信源信息熵的求解步骤 【例2.3-4】某二元2阶马尔可夫信源,原始信源X的符号集为{x1=0,x2=1},其状态空间共qm=22=4个不同状态e1,e2,e3,e4 既s:{e1=00,e2=01,e3=10,e4=11} 条件概率为: P(0/00)=p(1/11)=0.8 P(1/00)=p(0/11)=0.2 P(0/01)=p(0/10)=p(1/01)=p(1/10)