第2章 离散信源及其信息测度..pptVIP

2.5 离散平稳信源 对离散平稳信源若H1(X)＜?，则有以下性质： (1)条件熵H(XN/X1X2…XN-1)随N的增加是递减的； (2)HN(X) ? H(XN/X1X2…XN-1)； (3)HN(X)也是随N增加而递减的； (4)H?存在，并且: 称为平稳信源的极限熵或者极限信息量，也有的称此为平稳信源的熵率。同时上式表明，有记忆信源的符号熵也可通过计算极限条件熵得到。 2.5 离散平稳信源 现在简单证明这几个性质: (1) 根据信源的平稳性和熵的不增原理，得： 即对于平稳信源，条件越多，条件熵越不增加。 (2) 证明N个 的和不小于 即平均符号熵不小于条件熵。 2.5 离散平稳信源 (3) HN(X)随N增加而递减； 证明:由于 根据平均符号熵的定义和(2)的结果，有 上式表明，平均符号熵不随序列的长度而增加。 2.5 离散平稳信源 (4)由前面的证明我们可以得出: 是存在的。计算: 利用(1)的结果与平稳性，有： 2.5 离散平稳信源 先令 后令 ，得: 另外，由(2)的结果，当 时，有 所以: 2.5 离散平稳信源 定理的注释： (1) 该定理提供了计算信源符号熵的方法，即通过计算极限条件熵得到。这样，当信源为有限记忆时，极限条件熵的计算要比极限平均符号熵的计算容易得多