信息论基础第二章节.pptVIP

第二章 随机过程的信息度量和渐进等分性 第一节 信源和随机过程的基本概念 第二节 随机过程的信息度量 第三节 渐进等分性质 第四节 渐进等分性质在数据压缩中的作用 –信源编码定理 第五节 Shannon-McMillan-Breiman定理 §2.1信源和随机过程的基本概念 信源即信息的来源，信源的输出称为消息，消息有各种类型，如文本、语音、图像等。消息要转换成信号进行传输。 通常信源的输出是随机的，即事前无法肯定其输出，但其服从一定的随机规律，因此利用随机过程或随机序列来建立信源的数学模型成为必然。 不同类型的信源具有不同的性质，因此涉及到信源的分类。 按照信源的信号取值集合和信号取值时刻的离散或连续性可分为四类。 信源按其数学模型随机过程的统计特征分类可分为有记忆/无记忆、平稳、遍历、马氏等类型信源。 本章只讨论离散信源。 离散随机过程的定义 一个离散信源的输出为一个取值于有限字母集 的一个随机过程，记为 其中 称为状态集。一个离散随机过程是一系列随机变量，它是由一簇联合分布 唯一决定 无记忆信源 当 为相互独立的随机变量，且服从相同的分布： 对任意的i成立时，信源为无记忆信源 k-阶马尔可夫信源 称一个离散随机过程为k-阶马尔可夫过程，如果 对任意的mk0和 成立。 特别当k＝1时，称为马尔可夫过程，此时 此时联合概率可简化为 如果一个信源序列是k-阶马尔可夫过程，称信源为k-阶马尔可夫信源， k＝1时称为马尔可夫信源，对于k-阶马尔可夫信源通常可以用转移概率矩阵或状态转移图描述。 例2.1.1一阶平稳马氏信源 设 是取值于 的一个一阶平稳马氏信源，其平稳分布为 一步转移概率为 则用转移概率矩阵表示为 也可用状态转移图表示为 其n长序列的联合分布为： 例2.1.2二阶平稳马氏信源 设 是取值于 的二阶平稳信源，其状态可用两个二进数字表示，共有四种00，01，10，11，信源的统计特性由以下转移概率给出 用转移概率矩阵表示为 用状态转移图表示为 如果把初始状态记为 ，则信源的联合分布为 平稳信源 称离散随机过程为平稳的，若对任意的正整数k，及任意的正整数 与 有相同的联合分布 ，即 如果一个马氏过程是平稳的，则 对任意的m0成立，即此时转移概率不依赖时间，此时称状态转移矩阵 为马氏过程的公共转移矩阵，这时称马氏过程为齐次马氏链。 若存在 上的一个概率分布 ，满足 则称其为马氏过程的平稳分布。 显然，对于平稳马氏过程来说 对任意的m0成立，这时马氏过程完全由该平稳分布和转移概率决定。 如果一个信源序列是平稳过程，则称该信源为平稳信源，如果一个信源序列是平稳马氏过程，称信源为平稳马氏信源。 遍历信源 设 为一实数列，用T表示移位算子， ，称实数列集合A为平移不变集，如果 当且仅当 。 称一个平稳过程为遍历的，如果对任何平移不变集A有 直观的说，遍历的马氏过程从任何一个状态出发可以在有限步到达其他状态。 大多数的马氏信源是遍历的，下一信源为非遍历的 定理 2.1.1 弱大数定律 定理 2.1.2 强大数定律 一个信源序列如果使强大数定律成立，称它为平均遍历的。 一个无记忆信源在适当条件下是平均遍历的。平稳遍历信源是平均遍历的，但反之不成立。逆反命题是：一个信源如不满足平均遍历性（即强大数定律），则必是非遍历的。 信源熵如何度量？ §2.2随机过程的信息度量 设 是一个取值于有限字母集的离散随机过程，记 为n维随机变量的联合熵，则有： 当随机过程是平稳的时，上式为 满足上式的数列称为半可加数列，以下引理证明极限 存在。 引理2.2.1设 是满足 的半可加数列，则 定理2.2.2 设 是平稳信源，则 存在，且 称 为平稳信源的熵率，以下给出其容易计算的另一形式。 定理2.2.3 设 为