二维离散平稳信源输出序列中.ppt

电子信息工程学院 电子信息工程学院 电子信息工程学院 2.5.1离散平稳信源的数学定义 离散信源的输出是空间或时间的离散符号序列，且符号之间存在依赖关系。此时，可用随机矢量来描述信源输出的消息，即 其中任意变量Xi是离散随机变量，它表示 时刻所输出的符号,而将要输出的符号取决定于两方面: (1)与信源在 时刻随机变量Xi的取值的概率分 布 有关。 不同，概率分布也不同； 2.5 离散平稳信源 (2) 与 时刻以前信源已经发出的信源符号有关，即与条件概率 有关。通常该条件概率也是时间 的函数，即：当 时 由上式可以看出实际信源相对比较复杂，我们必须将复杂的问题简单化，下面只讨论平稳随机序列。 所谓平稳随机序列，就是序列的统计特性与时间的推移无关，即信源输出的符号序列概率分布与时间起点无关 2.5 离散平稳信源 平稳信源 若当 （ 是大于1的任意整数，且 ）时，信源输出序列满足 ，一维概率分布与时间起点无关，则称此信源为一维离散平稳信源。 若信源输出的随机序列 ,同时还满足二维联合概率分布 ccc 与时间起点无关，即 则信源为二维离散平稳信源。 若N维联合概率分布与时间起点无关，则信源X 为N 维离散平稳信源。 2.5 离散平稳信源 一维离散平稳信源： 二维离散平稳信源： 维离散平稳信源： 若发送序列各维联合概率是平稳的，这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。由此还可推出相应条件概率也是平稳的。 2.5 离散平稳信源 因为联合概率与条件概率有以下关系： 即对于平稳信源，其条件概率均与时间起点无关，只与关联长度 有关。即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。 ……… ……… 2.5 离散平稳信源 2.5.2二维离散平稳信源及其信息熵 离散平稳信源实际是一种有记忆信源，最简单的有记忆平稳信源是二维平稳信源，可看作是单符号离散信源的二次扩展信源，是有记忆的扩展信源。设有一个二维平稳信源的概率空间为： 且 2.5 离散平稳信源 如何对离散二维平稳信源进行信息测度？ 二维离散平稳信源输出序列中，相邻两个符号具有依赖性，即只与前一个符号有关，且依赖关系不随时间推移而变化。 将二维信源输出每两个符号分一组,每组代表新信源 中一个符号（消息）。且假设组与组之间是统计独立的。则等效新信源的概率空间为： 且 2.5 离散平稳信源 由信息熵定义可得二维联合熵： 联合熵表示信源X输出任意一对可能消息的共熵，即信源输出长度为2的序列的平均不确定性。 联合熵与信源熵所含有的信息量不一致，信息 熵是指平均每个信源符号所携带的信息量，可用 作为信息熵的近似值。 2.5 离散平稳信源 同时，也可从另外一个角度研究二维平稳信源 的信息熵的近似值，可求得在已知 时，信源输出下一个符号的平均不确定性： 上式是对下一个符号 的所有可能取值进行的统计平均。 而前一个符号 又可能取 任一个。对于某一个 存在一个平均不确定性 。 2.5 离散平稳信源 则对所有 的可能值进行统计平均，使得当前符号已知，再得出后面一个符号的总的平均不确定性，即：条件熵： 由此可推出熵的可加性： 条件熵与无条件熵的关系： 。 2.5 离散平稳信源 例2.12 某一离散二维平稳信源 且其发出的符号只与前一个符号有关，即可用联合概 率 给出它们的关联程度，如下表所示: 求信源熵 、条件熵 和联合熵 。 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 2.5 离散平稳信源 解：根据概率关系可计算得条件概