[2018年最新整理]信息论与编码4----信源及信源熵3.pptVIP

信息论与编码-信源及信源熵 上节课复习 信源序列熵（续） 冗余度 信息论与编码-信源及信源熵 上一讲复习 互信息量： 互信息量与信源熵的关系： 信息论与编码-信源及信源熵 连续信源熵： 它与离散信源熵的差别（差熵） 最大熵：（1）限幅度时的最大熵 （2）限平均功率时的最大熵 序列信源熵： （1）离散无记忆信源序列熵： 信息论与编码-信源及信源熵 （2）离散有记忆信源序列熵： （i）平稳有记忆序列信源： 极限熵： 信息论与编码-信源及信源熵 二、马尔可夫信源 1.马尔可夫信源 设一般信源所处的状态 ，在每一状态下可能输出的符号 。 定义：若信源输出的符号序列和信源所处的状态满足以下两个条件 （1）某一时刻信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态及以前的输出符号都无关，即 信息论与编码-信源及信源熵 当具有齐次性时，有 （2）信源某 时刻所处的状态由当前的输出符号和前一时刻 信源的状态唯一决定，即 则此信源称为马尔可夫信源。 信息论与编码-信源及信源熵 上述定义和描述的是一般的马尔可夫信源。但常见的是m阶马尔可夫信源，它在任何时刻 ，符号发生的概率只与前面m个符号有关，我们可以把这前面m个符号序列看作信源在此 时刻所处的状态。因为信源符号集共有q个符号，则信源可以有 个不同的状态，他们对应于 个长度为m的不同的符号序列。 信息论与编码-信源及信源熵 因此，m阶马尔可夫离散信源的数学模型可由一组信源符号集和一组条件概率确定： 并满足 信息论与编码-信源及信源熵 M阶马尔可夫信源在任何时刻 ，符号发生的概率只与前m个符号有关，所以可设状态 。由于 均可取 可得信源的状态集 。这样一来，条件概率可变换成 条件概率 表示任何 时刻信源处在 状态时，发出符号 的概率。而 可任取 之一，所以可以简化成 表示。 信息论与编码-信源及信源熵 而在 时刻，信源发出符号 后，由符号 组成了新的信源状态 ，即信源所处的状态也由 转移到 ，它们之间的转移概率叫做一步转移概率 ，简记为 ，它可由条件概率 来确定，表示在 的情况下，经一步转移到状态 的概率。对于齐次马尔可夫链，其转移概率具有推移不变性，因此， 可简写为 。 信息论与编码-信源及信源熵 推广可得 ，它表示系统在时刻m处于状态 ，经(n-m)步转移后在时刻n处于状态 的概率。它具有以下性质： 记k步转移概率为 由于有 个状态，所以状态转移概率是一个矩阵，记为： 信息论与编码-信源及信源熵 矩阵P中第 行元素对应与从某一个状态 转移到所有状态 的转移概率，显然矩阵中每一个元素都是非负的，并且每行元素之和均为1； 第 列元素对应与从所有状态 转移到同一个状态 的转移概率，列元素之和不一定为1。 注意：状态转移矩阵与条件概率矩阵 是不同的。 信息论与编码-信源及信源熵 转移概率的切普曼-柯尔莫郭罗夫方程： 当 时，有 用矩阵表示，就是 信息论与编码-信源及信源熵 从上述的递推关系可知，对于齐次马尔可夫链来说，一步转移概率完全决定了k步转移概率。 无条件状态概率 的计算： 就是从初始状态经k步转移后，停留在某一个状态 的概率。为了计算这个概率，需要知道初始状态概率，即 这时， 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 转移概率 的平稳分布 ： 两个问题：（1）此极限是否存在；（2）如果存在，其值是多少。 （1）存在问题：p23 （2）求法：如果存在，且等于一个与起始状态 无关的被称为平稳分布的 ，则不论起始状态是什么，此马氏链可以达到最后的稳定，即所有状态的概率分布均不变。在这种情况下，就可以用（P）这一矩阵来充分描述