信息论基础 5.pptVIP

信息论基础 第 五 讲 离散平稳信源 如果各维联合概率分布均与时间起点关，这种完全平稳的信源称为离散平稳信源。即对两个不同的时刻，有： 离散平稳无记忆信源 离散平稳无记忆信源 N次扩展信源的熵 离散平稳的有记忆信源 二维平稳信源的信源熵 N维平稳信源的信源熵 极限熵 马尔可夫信源 马尔可夫信源 马尔可夫信源 马尔可夫信源 马尔可夫信源 马尔可夫信源 马尔可夫信源 本讲结束 * * 　　假定随机变量序列的长度是有限的，如果离散平稳信源输出的消息序列中，符号之间无相互依赖关系，则这类信源为离散平稳无记忆信源，或称为离散平稳无记忆信源的扩展信源。序列中符号的长度即为扩展次数。 N此扩展信源的熵（或称为序列信息的熵）为： 可以证明，离散无记忆信源 X德N次扩展信源的熵就是离散信源X得熵的N倍，即 一般情况下，信源在不同时刻发出的符号之间是相互依赖的，即发出的各个符号之间具有统计关联关系，这种信源叫做有记忆信源。离散平稳信源一般是指有记忆的离散平稳信源。 这种统计关联关系可用两种方式表示。一种是用N个符号的联合概率来反映有记忆信源的特征，这种方式表示下的有记忆信源，以后就叫作离散平稳信源；另一种方式是用信源发出的符号序列中各个符号之间的条件概率来反映记忆特征，这种表示方法下的信源就是马尔可夫信源。 在许多多符号离散信源中，信源输出的序列中，符号之间的依赖关系是有限的，也就是说，任何时刻信源符号发生的概率只与前面已经发出的有限个符号有关，而与更前面发生的符号无关。如果任何时刻，信源发出的符号只与前面发出的ｍ个符号有关，这样的信源称为ｍ阶有记忆离散信源，或ｍ阶马尔可夫信源。 　　设信源输出的序列为： 信源的联合概率分布满足下述条件： 即这种信源可用马尔可夫链来描述。 　　最简单的马尔可夫信源是1阶马尔可夫信源，即m=1的情形。此时有： 　　若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。 　　显然完全平稳的马尔可夫信源是齐次马尔可夫信源，反之，不一定成立。 　　为了方便的分析和处理马尔可夫信源，引入一些新的概念和处理方法。 *