Ch2例题与证明三.docVIP

离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。 证明： 求和是对信源中所有个元素求和，可以等效成N个求和，而其中的每一个又是对X中的n个元素求和，所以有： 则 共有N项，考察其中第一项 因为 所以 同理其余各项均等于H(X) 故有： 证毕。 [例.1]有一离散平稳无记忆信源 的熵。 先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X的输出长度为2的消息序列。由于扩展信源是无记忆的，故 对应的消息序列 概率 根据熵的定义，二次扩展信源的熵为 结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X的熵导出。即离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。 思考证明二维离散有记忆信源的熵不大于二维平稳无记忆信源的熵？ [例3.3]设某二维离散信源X=的原始信源X的信源模型为，X=中前后两个符号的条件概率为 7/9 2/9 0 1/8 3/4 1/8 0 2/11 9/11 原始信源的熵为： 由条件概率确定的条件熵为： 条件熵比信源熵（无条件熵）减少了0.672bit/symbol,正是由于符号之间的依赖性所造成的。 信源X=平均每发一个消息所能提供的信息量，即联合熵 则每一个信源符号所提供的平均信息量 小于信源X所提供的平均信息量H(X)，这同样是由于符号之间的统计相关性所引起的。 将二维离散平稳有记忆信源推广到N维情况，可证 证明： 则 表明：多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。 证明离散平稳信源条件熵随变量数N增大而减小的非递增性，即 由信源熵不等式 其中 令， 代入上式不等式 两边乘上 两边对求和 即 等号在 （对所有都满足）时成立。 证明平均符号熵大于条件熵，即 根据平均符号熵的定义 证明平均符号熵随N单调下降 移位后有 最后：