第二章信息的度量.pptVIP

2.7 离散无记忆信源的扩展 离散无记忆信源X,考虑任意N个相邻时刻的输出 随机变量XN=X1X2…XN看作是一个新的离散无记忆信源的输出,称为X的N次扩展信源,由于 X无记忆,所以Xn,n=1,2,…N独立同分布,故有 是两种不同的的模型,描述的却是 同一信源,X描述信源单个符号的统计特性;而后者 则是描述信源N长符号串的统计特性。 2.9 马尔可夫信源的信息熵 2.9.1 Markov链 设随机序列{Xn,n∈T}为一Markov过程,T={0,1,2..}为离散时间参数集合,记S为Xn可能取值的全体组成的状态空间集: S={S1,S2,…Sj} 若对所有正整数n∈T,如果条件概率均满足: 为了衡量信源发出信息的能力,引入信息率。离散信源的信息率,记为R,定义为平均一个符号所携带的信息量(即实在信息),在数值上等于信源的极限熵 R=I(X)=H∞(X) bit/符号 信源的信息速率Rt指的是单位时间内发出的平均信息量,如果信源平均ts秒发出一个信号,则: 另外,我们定义: 自然语言的熵 (1)熵： 结论：一般离散信源都可以用不同记忆 长度的马尔可夫信源来逼近。 加密和纠错可使用上述思想。 该结论说明：用英文字母写成文章时，有71%的信息量是由语言结构、实际意义等确定，而剩下只有29%是由文章作者可以自由选择的。也就意味着：在传递或存储英语信息时，只需要传送或存储那些必要的信息，而有关联的符号则可以大幅度地压缩。 例如100页的英文书，大约只要存储29页就可以了，其中的71页可以压缩掉，压缩掉的文字完全可以根据英文的统计特性来恢复。 从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。 类似地，发送电报时，为了经济和节省时间，总希望在原意不变的情况下，尽可能地把电文写得简洁些。 也就是说，实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码。 信源的冗余度能够用于表征信源可压缩的程度！ 冗余度也有它的用处，因为冗余度大的消息具有强的抗干扰能力。当干扰使消息在传输过程中出现错误时，我们能从上下关联中纠正错误。 例如我们收到“中X人民X和国”时，我们很容易把它纠正为“中华人民共和国”。但若我们收到的是压缩后的“中国”，而出现了错误变成了“X国”，就很难肯定发出的是“中国”、“美国”…，由此将会造成很大的错误。 所以，从提高抗干扰能力的角度来看，总是希望增加或者保留信源的冗余度，或者是传输之前在信源编码后去除冗余的符号序列里加入某些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码。 2.11 连续随机变量的熵和平均互信息量 一般认为,通信系统中的信号都是平稳的随机过程前面已研究了离散信源,实际某些信源的输出常常是时间和取值都是连续的,如语音信号、电视信号等。 2.11.1 连续随机变量的熵 如果X是连续随机变量,其取值集合是连续区间[a,b],假定概率密度函数为fx(x),由此,连续信源的数学模型为: 把连续随机变量离散化,将X的值域[a,b]分为K个子区间: 接上页 为什么要如此定义连续信源的熵呢？ 一方面，因为这样定义可与离散信源的熵在形式上统一起来(这里用积分代替了求和)、且通常为有限数值； 可见，连续信源熵具有相对性的特点。 因此，连续信源的熵h(X)称为相对熵，也称为差熵，以区别于原来的绝对熵。 相对熵是为了进一步引入互信息量、信道容量、信息率失真函数等概念而引入的一个过渡性概念，取有限值是便于处理和分析。 由上式可知，所定义的连续信源的熵虽然形式上和离散信源的熵相似，但并不是实际信源输出的绝对熵：连续信源的绝对熵应该还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是无限多个，需要无穷多位二进制位数(比特)来表示，若设取值是等概分布，那么连续信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。 连续信源的相对熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 比如，连续熵可以为负值。 连续信源的互信息则不然，由于是两个熵之差，无穷大一项相互抵消，因此仍然具有信息的一切特征。 典型的单符号连续信源熵 1.均匀分布的连续信源的熵：仅与区域的边界有关。 2.高斯分布： 可以证明，高斯分布( 正态分布)的连续信源的相对熵与数学期望m无关，仅与方差σ有关。 方差在物理含义上往往表示信号的交流功率，即P=σ2。这就是说正态分布的相对