信息论与编码课件第二章.ppt

随机变量之间的依赖性在某种程度上降低了信源的不确定性，即使信源（符号）携带的信息量减少。当考虑依赖关系无限长时，平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。0102定理说明：无记忆平稳离散信源的熵无记忆平稳离散信源：信源输出为平稳独立的随机序列无记忆平稳离散信源的熵又各分量分布相同随机矢量的熵（联合熵）极限熵平均符号熵无记忆平稳离散信源的熵信源的冗余度与信息速率对于离散平稳信源理论上：实际的熵为——即信源所能输出的信息量——需要传递的手段。实际上：因信源的统计特性了解不全——只能算出作为信源信息量——需要传递的手段。分析：造成传递手段上有富余——输出效率不高，不经济效率01冗余度02相对冗余度03例：自然语言信源的冗余度英文26个字母＋间隔符号＝27，则信源字母携带的最大信息量log27=4.76bit/符号基于字母、间隔出现的概率统计H1＝4.03bit/符号基于两个、三个字母依赖关系概率统计H2＝3.32bit/符号H3＝3.1bit/符号的近似值为：=1.4bit/符号效率相对冗余度传输英文语言时，71%是多余的！可以压缩71%的信息量。冗余度存在可以增加抗干扰能力。12345信源的冗余度与信息速率H(X)信源熵信源符号平均时长信息速率信源的冗余度H∞实际信源熵H0信源平均符号熵的最大值很多信源输出的符号序列中，符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关01状态02状态转移概率03马尔可夫信源马尔可夫信源定义2.17若信源输出的符号序列和信源所处的状态满足下列两个条件：（1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关。即当具有时齐性时，即有及（2）信源某l时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定，即（即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某个状态的概率为1，取其他状态的概率为0）则此信源称为马尔可夫信源。01定义2.18m阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定：02并满足03则称此信源为m阶马尔科夫信源。当m=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔科夫信源。马尔可夫信源对于一个马尔可夫信源，当信源处于某个状态时，发出一个信源符号所携带的平均信息量，即在状态下，发一个符号的条件熵为12剩下的问题是如何求？3我们要计算的是马尔可夫信源平均符号熵的极限熵，为简便起见，我们省去了繁琐的证明，假设信源在极限情形处于平稳分布状态（本章如无特别说明，例题均满足此特性），即信源处于某个状态的概率是稳定不变的，这样极限熵应是马尔可夫信源的熵01.由于是极限稳态分布，它应满足02.利用上两式，解方程，即可求得。马尔可夫信源的熵根据上述概率分布函数，分别求得：(2)根据(1)得到的联合概率分布和边沿概率分布函数，求得如下条件概率分布010101/43/404/7013/41/413/710101013/41/4又因为因此所以熵函数H(p)的性质信息熵H(X)的函数表达——H(p)对称性