信息论2015-2.pptVIP

2.4.1 N维扩展信源的熵 【例2-17】已知一个单符号离散信源空间如下，求其二次无记忆扩展信源的熵。 n=3，N=2 解：信源X的二次扩展信源的符号为一个二维随机向量，可以表示为 二次扩展信源的熵为： 计算可得 并可计算原来的单符号离散无记忆信源的熵为H(X)=1.5 bits/符号。 可见：H(X2)=2 H(X) * 2.4.1 N维扩展信源的熵 （2）离散有记忆N维扩展信源的熵 首先还是假设N维扩展信源是由一个单符号离散信源扩展而成，单符号信源X的符号数是n，则由X扩展的N维信源的符号状态数为nN，N维扩展信源的信源空间仍然可以表示为 由概率关系 这时N维扩展信源的熵为 * 2.4.1 N维扩展信源的熵 可以证明：有记忆N维扩展信源熵小于等于无记忆N维扩展信源的熵 在信息论中，把这个表达式称为熵的链式规则，它可以写成如下形式 链式规则给出一个N维扩展信源的符号熵，也就是一个序列符号的熵，那么实际一个信源符号的熵为 * 2.4.1 N维扩展信源的熵 这里用一个二维扩展信源的情况说明一下。设一个单符号离散无记忆信源为 二维扩展信源空间为 设二维扩展信源的符号概率为 二维扩展信源一个符号状态（两个原始符号）所提供的平均信息量为 二维离散平稳有记忆信源每发一个消息符号（双符号）所能提供的平均信息量是一个联合熵。 * 2.4.1 N维扩展信源的熵 从这个简单的离散有记忆二维扩展信源的情况可以看出，扩展信源的熵实际上就是一个联合熵。根据熵函数的性质，条件熵小于等于独立熵，可以得到结论：有记忆扩展信源的熵小于等于两个独立信源熵之和。即 同样，对于N维扩展信源，有记忆N维扩展信源熵小于等于无记忆N维扩展信源的熵。即 * 2.4.1 N维扩展信源的熵 【例2-18】已知一个单符号离散信源空间如下，由其构成一个二维有记忆扩展信源，并已知条件概率，求扩展信源熵。 解：扩展信源熵为 可以验证 二维离散平稳有记忆信源或者N维离散平稳有记忆信源只是实际有记忆信源的一种简化和近似。对于实际信源来说，是一种无限长的序列，符号间相关性可以延伸到无穷。因此，离散平稳有记忆信源输出一个符号提供的平均信息量为 称为离散平稳有记忆信源的极限熵 * 2.4.1 N维扩展信源的熵 （3）N维扩展信源的平均交互信息量 设一个N维扩展信源输出的N维随机向量 ，经过一个离散信道后，在信宿端也产生一个N维随机向量 定理2-7：如果信源是一个N维无记忆扩展信源，则信道输入X和输出Y的平均交互信息量大于等于单个符号平均交互信息量之和。即 这个定理说明，对一个单符号信源进行N维扩展，得到一个多符号信源，如果符号间不相关（无记忆），N维随机变量的平均交互信息量大于等于N个单符号随机变量的平均交互信息量之和。 实际上可以验证，对于有记忆信道，扩展长度越大，交互信息量增加越大，其指导意义是增加编译码长度会得到更大的交互信息量。 不等式等号成立的条件是信道是离散无记忆信道。 * 2.4.1 N维扩展信源的熵 定理2-8：如果信道是一个离散无记忆信道，则信道输入X和输出Y的平均交互信息量小于等于N个单符号平均交互信息量之和。即 这个定理说明，如果信道是离散无记忆的，那么N维扩展的多符号相关信源的平均交互信息量小于等于N个单符号信源的平均交互信息量之和。这时香农信息论的一个基本观点，一般在白噪声信道下，信源的相关性将减少信息传递能力。提高通信系统传输效率的手段之一就是减少信源的相关性。 不等式等号成立的条件是信源X的分量是独立的，即为离散无记忆信源。 * 2.4.2 马尔柯夫信源 （1）马尔柯夫链 定义2-13：设一个随机时间序列{X(t), t=1,2,3,…}取值于正整数空间I={0,1,2,……}，或者为I的子集， 如果有 ， 且 则称为序列{X(t)}为马尔柯夫(Markov)链。 序列{X(t)}这种概率特性为无后致性。 马尔柯夫链是一种特殊的随机时间序列，序列 “将来” 的状态只与“现在”的状态有关，而与“过去”的状态无关。 * ， 2.4.2 马尔柯夫信源 马尔柯夫链序列{X(t)}中的某一个符号X(t)的数值一定为集合I中的某一个元素i(或j)，这时，称i(或j)为随机序列的一个状态Si。 马尔柯夫链的统计特性用状态转移概率（条件概率）来描述，序列从t时刻的状态i到t+1时刻的状态j的转移概率为 这个条件概率称为马尔柯夫链的一步转移概率，它满足： 类似地还有马尔柯夫链的k步转移概率，序列从t时刻的状态i到t+k时刻的状态j的转移概率为 * 2.4.2