熵函数的性质随机变量序列的熵率.pptVIP

性质： 1、对称性： H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。 一个例子： 2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性质说明：这个信源是一个确知信源，其熵等于零。 3、非负性： H(P) ? 0 说明： 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。 5、 可加性 唯一性 香农指出，存在这样的不确定性的度量，它是概率 分布 的函数 ，且该函数应满足： 对称性 极值性 可加性 扩展性 它的形式是唯一的。 复习 熵 条件熵 半条件熵 联合熵 复习 链式法则 复习 熵函数的性质H(p1,p2,…, pn) 对称性 非负性 极值性 连续性 扩展性 可加性 二进制信源是离散信源的一个特例 该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“?”和“1- ?”，即信源的概率空间为： H(X) = -?log? –(1-?) log(1-?) =H(?) 离散平稳信源 对于随机变量序列 各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。 当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源 。 如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。 离散无记忆的扩展信源 例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，该信源称为二元无记忆信源的二次扩展信源。 [例] 求如下离散无记忆信源的二次扩展信源及其熵。 解：二次扩展信源的概率空间为 离散平稳无记忆N次扩展信源的熵H(XN)=H(X1X2…XN)=H(X1)+ H(X2|X1)+ H(X3|X1X2)+…+ H(XN|X1X2…XN-1)=H(X1)+ H(X2)+ H(X3)+…+ H(Xn)= N·H(X) 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 平均符号熵 若信源输出一个L长序列，则信源的序列熵为 信源冗余度及信息变差 由离散熵的性质有 表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 定义：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值 一个汉字的熵为9.65bit 一个英文字母的熵为4.12bit 汉字的极限熵平均为4.0462bit 英文按单词(均值4.5个字母)计算平均每个字母的熵是1.65bit 在非扩展无记忆信源中，码字的平均长度不能小于信源的熵。由于汉字的熵为9.65比特，大于8比特，因此，汉字不能使用单字节（8比特）编码，而要使用双字节（16比特）编码。 现代汉语冗余度的上限为75％，下限为55％，平均值为 65％ 英语冗余度的上限为80％，下限为67％，平均值为75％。 冗余度压缩：语音编码、图像编码 [例]：有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C}，Y的信源符号为{D，E，F，G}，已知 P(X)和P（Y/X），求联合信源的联合熵和条件熵。 而 分 析 所以 信源无记忆时 平均符号熵为 极限熵 离散有记忆信源的极限熵 对离散平稳信源若H1(X)＜? ，则有以下性质： (1) 条件熵H(XN/X1X2…XN-1)随N的增加是递减的； (2) HN(X) ? H(XN/X1X2…XN-1)； (3) HN (X)也是随N增加而递减的； (4) H? 存在，并且: 上式表明：当依赖关系趋于无穷时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵。 对于一般平稳信源，求 H?相当困难。但N不很大时有：H? ? HN(X) 或 H? ? H(XN|X1X2…XN-1)。 结论证明 对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。 当平稳信源的记忆长度有限时(m+1)，得离散平稳信源的极限熵： 熵的意义（对通信系统） H(X)：表示信源中每个符号的