2.3第二章-离散信源和其信息测度.pptVIP

2.2 多符号离散信源;2.2.1 多符号离散信源;(1) 多符号离散信源;(2) 随机矢量/随机变量序列;2.2.2 离散平稳无记忆信源;(1) 离散无记忆信源;① 基本概念;② 序列的成组传送;二进制无记忆信源的N次扩展：把每N个二进制数字组成 一组，则信源等效成一个具有2N个符号的新信源，把它 称为二进制无记忆信源的N次扩展信源。;③ 离散无记忆信源的数学模型;由随机矢量X组成的新信源称为离散无记忆信源X的N次 扩展信源。用N重概率空间来描述它。 ;N次扩展信源的数学模型;因为信源是无记忆的，所以消息序列;(2) 离散平稳无记忆信源的熵; ;证明：H(X)=H(XN)=NH(X);因此 ;因为 ;(3) 举 例;可以算得 H(X)=1.5 比特/符号（此处的符号是指X信源的输出符号xi）;对上述结论的解释：因为扩展信源XN的每一个输出符号ai是由N个xi所组成的序列，并且序列中前后符号是统计独立的。现已知???个信源符号xi含有的平均信息量为H(X)，那么，N个xi组成的无记忆序列平均含有的信息量就为NH(X)（根据熵的可加性）。因此信源XN每个输出符号含有的平均信息量为NH(X)。;2.2.3 离散平稳有记忆信源;(1) 离散平稳信源的数学模型;① 一维平稳信源;一维平稳信源无论在什么时刻均以{p(x1), p(x2), …, 　p(xn)}分布发出符号。;② 二维平稳信源;③ 离散平稳信源;(2) 离散平稳有记忆信源的信源熵;① 二维平稳信源的信源熵; 二维平稳信源的数学模型;X 的数学模型; 二维平稳信源的信源熵;结论：两个有相互依赖关系的随机变量X1和X2所 组成的随机矢量X=X1X2的联合熵H(X),等于第一个 随机变量的熵H(X1)与第一个随机变量X1已知的前 提下，第二个随机变量X2的条件熵H(X2/X1)之和。; 离散无记忆信源是离散平稳信源的特例;结论： 随机变量X1和X2统计独立时，二维离散平稳无记忆信源 X =X1X2的熵H(X)等于X1的熵H(X1)和X2的熵H(X2)之和。 当X1和X2取值于同一集合时， H(X1)=H(X2)=H(X)， H(X)= H(X2)=2H(X)，与离散无记忆信源二次扩展信源的 情况相同。; 举 例;条件熵H(X2/X1)比信源熵/无条件熵H(X)减少了0.672比特/符 号，这是由于符号之间的依赖性造成的；;② 离散平稳信源的信源熵;(3) 离散平稳有记忆信源的极限熵;① 条件熵的非递增性;② 极限熵;极限熵的存在性：当离散有记忆信源是平稳信源时，从 数学上可以证明，极限熵是存在的，且等于关联长度 N→∞时，条件熵H(XN/X1X2…XN-1)的极限值，即 ;③ 结 论;[证明] 根据前面已证明的 H(X2/X1)≤ H(X2)， 同理可证 H(X3/X1X2)≤ H(X3/X2)， 由于信源是平稳的，所以 H(X3/X2)= H(X2/X1)， 故得 H(X3/X1X2)≤ H(X2/X1) ≤ H(X1) 对于平稳信源递推 H(XN /X1X2…XN-1)≤ H(XN-1 /X1X2…XN-2 ) ≤ H(XN-2 /X1X2…XN-3 ) ≤ … ┇ ≤ H(X3/X1X2) ≤ H(X2/X1) ≤ H(X1); 举 例;解: （1）根据题意，此信源在任何时刻发出的符号概率 都是相同的，均按P(0)=0.4，P(1)=0.6，即信源发出符号 的概率分布与时间平移无关，而且信源发出的序列之间 也是彼此无依