信息论基础A要点解析.ppt

小结： 马尔科夫信源的定义与数学描述： 关联长度，符号与状态，状态转移，稳态概率，稳态符号概率，稳态信息熵。 N阶马尔科夫信源的极限熵： N阶马尔科夫信源的极限熵等于N阶条件熵，即稳态信息熵。 1.2.5 信源的相对信息率和冗余度 提问:实际信源发出消息，信息含量有多少？ 信源每个符号最大可以荷载的信息量是 H0=logm，但是只有等概信源的信息熵才可达到这个最大值。 实际信源由于非等概和有记忆两个原因，其信息熵H∞远小于H0 ，表明平均每个符号的实际信息荷载量都没有达到最大，存在着信息含量不饱满的现象。 以英语为例，26个字母加上空格，共27个符号，最大熵H0 =log27=4.76（比特/符号）。然而各个字母在文章中出现概率是不同的，百分比见下表所示： a b c d e f g h i 6.42 1.27 2.18 3.17 10.31 2.08 1.52 4.67 5.75 j k l m n o p q r 0.08 0.49 0.32 1.98 5.74 6.32 1.52 0.08 4.84 s t u v w x y z 空格 5.14 7.96 2.28 0.83 1.75 0.13 1.64 0.05 18.59 由表不难算出：H1= H(X)= 4.03（比特/符号）。 在一阶和二阶马尔科夫信源近似下，有人曾求得：H2= 3.32(比特/符号)，H3=3.10(比特/符号)。 如果再计及词法、句法、语法、修辞等的制约，计入更高阶的关联，极限熵被估计为H∞=1.4（比特/符号）。 H0代表平均每个英文符号最多所能承载的信息量。 H∞代表英语文章中平均每个信源符号实际所荷载的信息量。拥有27个符号的英文信源，平均每个符号是有能力荷载4.76比特信息的，但实际上它们每符号却只承载着 1.4比特的信息。 为了描述这种信息率不饱满的情况，定义： 相对信息率： μ = H∞/H 0 信源冗余度（或剩余度）：γ =1-μ 来反映信源实际所含信息的饱满程度。 对于英文， μ=0.29， γ=0.71， 表明冗余是比较 大的。 凡是信息熵没有达到最大值，就是存在冗余。 这种信息率不饱满的情况在各种信源中普遍存在。 汉语也有类似的情况，对10000个通用汉字统计结果如下： 最常见的只有140个，出现概率50%； 较常见的485个，出现概率35%； 一般性的1775个，出现概率14.7%； 不常见的7600个，出现概率0.3%。 由此算出：H0=log10000=13.29（bit /汉字） H1=10.25（bit /汉字） 仅算到H1 ： μ=0.77， γ=0.23 课后复习题 思考题： 哪些因素影响信源消息序列的平均符号熵？为什么序列越长，平均符号熵越小？ 作业题： 教材第31页习题一第6、9题； * 洛必达法则。 H(X1X2……XN)= -∑p(x1x2……xN) log p(x1x2……xN) 其中第一项: 第二项: 第三项: 第N 项: ∴ H(X1X2……XN) =H(X1) + H(X2|X1) + H(X3|X1X2) + …… + H (XN|X1X2……XN-1) 性质1：条件熵不大于无条件熵，强条件熵不大于弱条件熵。 H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2……XN-1) (对无记忆信源，取等号) 理由：有条件约束相当于自由度减少，即不确定性的减少，而熵是平均不确定性的度量。 有记忆信源的信息熵的性质 利用詹森不等式： H(X1) ≥ H(X2|X1)的证明: 现在视pi为p(x1)，yi为 p(x2|x1)，f (yi)为 –yi log yi ， 求和是对i（即x1）进行,则不等式: 左边： 右边： 但： 所以： 代回