信息论基础随机过程信息度量和渐近等分性.pptVIP

2.2 随机过程的信息度量 2.2 随机过程的信息度量 例1：一个马尔可夫过程的基本符号为0，1，2，这3个 符号等概率出现，开且具有相同的转移概率。 请画出一 阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔 可夫信源熵和信源剩余度. 解：一阶马尔可夫过程 的状态转移图 2.2 随机过程的信息度量 设状态的平稳分布为 ，根据 2.2 随机过程的信息度量 例2：一阶马尔可夫信源的状态转移图如下图所示，信源 的符号集为 (1)求平稳后的信源的概率分布； (2)求信源熵 2.2 随机过程的信息度量 2.3 渐近等分性质 2.3 渐近等分性质 2.3 渐近等分性质 是随机变量长序列的一种重要特性，是编码定理的理论基础， 简称AEP。 当随机变量的序列足够长时,其中一部分序列就显现出一种典型的 性质：这些序列中各个符号的出现频数非常接近于各自的 出现概率，而这些序列的概率则趋近于相等，且它们的 和非常接近于1,这些序列就称为典型序列。 其余的非典型序列的出现概率之和接近于零。序列的 长度越长，典型序列的总概率越接近于1,它的各个序列的 出现概率越趋于相等。渐近等分性即因此得名。 2.3 渐近等分性质 渐近等分性有许多不同的具体形式，但一般地可以表