信息论与编码_第6讲_第2章信源及信息度量3.pptVIP

条件熵H(X2/X1)比信源熵/无条件熵H(X)减少了0.672比特/符号，这是由于符号之间的依赖性造成的； 信源平均每发一个消息提供的信息量，即联合熵 H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号) 每一个信源符号提供的平均信息量 H2(X)=(1/2)H(X)=(1/2)H(X1X2)=1.206(比特/符号) H2(X)小于信源提供的平均信息量H(X)，这同样是由于符号之间的统计相关性所引起。 ② 离散平稳信源的信源熵 将二维离散平稳有记忆信源推广到N维的情况 H(X)= H(X1)+ H(X2/X1)+ H(X3/X1X2)+…+ H(XN/X1X2…XN-1) 结论：多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。由于信源是平稳的，这个和值与起始时刻无关。 (3) 离散平稳有记忆信源的极限熵 ① 条件熵的非递增性 ② 极限熵 ③ 结论 ① 条件熵的非递增性 条件熵H(XN /X1X2…XN-1)随N的增加是非递增的，即 H(XN /X1X2…XN-1)≤ H(XN /X1X2…XN-2) [证明] 根据前面已证明的 H(X2/X1)≤ H(X2)， 同理可证 H(X3/X1X2)≤ H(X3/X2)， 由于信源是平稳的，所以 H(X3/X2)= H(X2/X1)， 故得 H(X3/X1X2)≤ H(X2/X1) ≤ H(X1) 对于平稳信源递推 H(XN /X1X2…XN-1)≤ H(XN-1 /X1X2…XN-2 ) ≤ H(XN-2 /X1X2…XN-3 ) ≤ … ┇ ≤ H(X3/X1X2) ≤ H(X2/X1) ≤ H(X1) ② 极限熵 H(X)/矢量熵= H(X1X2…XN-1XN)/联合熵表示平均发一个消息（由N个符号组成）提供的信息量。 平均符号熵：信源平均每发一个符号提供的信息量为 极限熵：当N→∞时，平均符号熵取极限值称之为极限熵或极限信息量。用H∞表示，即 极限熵的存在性：当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等于关联长度N→∞时，条件熵H(XN/X1X2…XN-1)的极限值，即 ③ 结 论 极限熵的含义：代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。 多符号离散平稳信源实际上就是原始信源在不断地发出符号，符号之间的统计关联关系也并不仅限于长度N之内，而是伸向无穷远。所以要研究实际信源，必须求出极限熵H∞，才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量。 极限熵的计算：必须测定信源的无穷阶联合概率和条件概率分布，这是相当困难的。有时为了简化分析，往往用条件熵或平均符号熵作为极限熵的近似值。在有些情况下，即使N值并不大，这些熵值也很接近H∞，例如马尔可夫信源。 2.2 多符号离散信源 2.2.1 多符号离散信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差 2.2.1 多符号离散信源 (1) 多符号离散信源 (2) 随机矢量/随机变量序列 (3) 多符号离散平稳信源 (1) 多符号离散信源 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计