第二章 信息与编码.pptVIP

第三节 信息熵的基本性质 性质4：扩展性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。 第三节 信息熵的基本性质 性质5 ：极值性 上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit 第四节 离散无记忆的扩展信源 实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统，序列中前后符号间一般是有统计依赖关系的。 我们先讨论离散无记忆信源，此时，信源序列的前后符号之间是统计独立的 如在二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源称为二元无记忆信源的二次扩展信源，相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N此扩展信源。 第四节 离散无记忆的扩展信源 一般情况 设一个离散无记忆信源为： 则该信源的N次扩展信源为： 第四节 离散无记忆的扩展信源 其中： 根据信息熵的定义： 可以证明，对于离散无记忆的扩展信源 例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:{a1,a2,a3}; P(X):{1/4, 1/2, 1/4} 2次扩展信源为： :{A1…A9} 信源的9个符号为： A1=a1a1 A2=a1a2 A3=a1a3 A4=a2a1 A5=a2a2 A6=a2a3 A7=a3a1 A8=a3a2 A9=a3a3 第四节 离散无记忆的扩展信源 第四节 离散无记忆的扩展信源 其概率关系为 : A1 A2 A3 A4 A5 A6 A7 A8 A9 1/16 1/8 1/16 1/8 1/4 1/8 1/16 1/8 1/16 计算可知 第五节 离散平稳信源 一般来说，信源的前后消息之间有前后依赖关系，可以用随机矢量描述： 信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的分布概率 2、这一时刻以前发出的消息 如一个人讲话 我们现在讨论平稳的随机序列，所谓平稳是指序列的统计性质与时间的推移无关（俩个任意时刻信源发出符号的概率分布完全相同）。 1、离散平稳信源的数学定义 第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。 信源的概率空间: 连续两个信源符号出现的联合概率分布为： 第五节 离散平稳信源 已知符号 出现后，紧跟着 出现的条件概率为： 由二维离散信源的发出符号序列的特点可以把其分 成每两个符号一组，每组代表新信源 中的一个 符号。并假设组与组之间是统计独立的，互不相关的。 得到一个新的离散无记忆信源 ，其联合概率空间为： 第五节 离散平稳信源 根据信息熵的定义，可得： （1）联合熵 可以表征信源输出长度为2的平均不确定性，或所含有的信息量。因此可以用 作为二维平稳信源的信息熵的近似值 第五节 离散平稳信源 (2)条件熵 则： 第五节 离散平稳信源 另外还可以得到： 只有信源统计独立时等号成立。 可以证明： [例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。 第五节 离散平稳信源 第五节 离散平稳信源 我们现在有两种方法去近似信源的实际熵，一种是 为1.45bit，但这种方法不