2.2 多符号离散平稳信源.pptVIP

结论：两个有相互依赖关系的随机变量X1和X2所 组成的随机矢量X= X1 X2的联合熵H(X)，等 于第一个随机变量的熵H(X1)与第一个随机 变量已知的条件下，第二个随机变量的熵 H(X2/X1)之和。 当离散有记忆信源是平稳信源时，经过数学证明，极限熵是存在的，并且等于关联长度N→∞时，条件熵H(XN/X1X2???XN)的极限值。即： 总结：状态sj只与两个因素有关 前一个状态si 当前发出的符号akm+1 由于条件概率p(akm+1/si)与一步状态转移概率p(sj/si)存在明确的对应关系，因此可以得到： 当信源处于si状态时，发出符号akm+1的概率为p(akm+1 / si) 当状态由 sj 变为sj时，也满足一定的概率分布 ——状态的一步转移概率，用p(sj / si)表示。 这种信源满足马尔可夫信源的条件，叫做m阶 马尔可夫信源。 由m个符号组成的状态构成马尔可夫链。 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关； 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 马尔可夫信源 1 2 3 m阶马尔可夫信源的状态可以用描述马尔可夫链的状态转移图来表示。 每个圆代表一个状态 有向线段代表状态的转移 有向线段一侧的符号和数字表示p(akm+1/si) s2 s1 s3 a1=0.5 a2=0.25 a2=0.5 a3=0.25 例2.2.3 马尔可夫信源用符号间的转移概率(条件概率)来描述有记忆信源各符号之间的关联性，因此可以用状态转移概率来计算马尔可夫信源的熵。 2.马尔可夫信源的熵 由m阶马尔可夫信源的定义：信源输出当前符号仅与前面m个符号有关。因为信源是平稳的，可以得出： 说明：m阶马尔可夫信源的极限熵=m阶条件熵，记为Hm+1 例2.2.4 * * 信息论与编码 Information Theory and coding 2.2 多符号离散平稳信源 实际信源输出的消息往往是时间和空间上的一系列符号，而非单符号信源。这类信源输出的是一个符号序列。 通常一个消息序列的每一位出现哪个符号都是随机的，前后符号之间的出现是有统计依赖关系的，这种信源称为多符号离散信源。 X = X1 , X2 ,X3 ,… 假定随机矢量X中随机变量的各维联合概率分布均不随时间而变化，即信源所发出的符号序列的概率分布与时间起点无关。称为多符号离散平稳信源。 信源分类 连 续 信 源 随机变量 信源 离 散 信 源 单符号 多符号 随机矢量 随机过程 离散无记忆信源 离散有记忆信源 平稳序列信源 马尔可夫信源 输出的消息序列中各符号之间无相互依赖关系的信源，称为离散平稳无记忆信源的扩展信源。序列长度就是扩展次数。 例：单符号信源{0，1},经过二次扩展 变成了：{00，01，10，11} 二进制离散平稳无记忆信源的二次扩展信源。 经过三次扩展，形成的信源？ 经过N次扩展，形成的信源？ 2.2.1 序列信息的熵 无记忆信源的扩展信源 数学模型 新信源每次输出的式长度为N的消息序列， 其中每个分量X1都是随机变量，且个分量之间统计独立。 数学模型 可证明序列信息的熵为 信源熵 单符号信源如下,求二次扩展信源熵 例2.2.2 例题 解：扩展信源的每个元素是信源X的输出长度为2的消息序 列。信源X有3个不同的消息，每两个消息组成不同排列 共有32=9种，因此二次扩展信源有9个元素。 扩展信源： 由于扩展信源是无记忆的，所以 例题 例题 计算扩展信源时，不必构造新信源，可以直接从原信源X的熵导出，即一个离散平稳无记忆信源X的N次扩展信源的熵等于信源X熵的N倍。 各维联合概率均与时间起点无关 2.2.2离散平稳信源的数学模型 离散平稳信源一般指有记忆信源，反映信源记忆特性的两方法： 用联合概率反映信源记忆特性 －平稳序列信源 用条件概率反映信源记忆特性 －马尔可夫信源 1 2 2.2.3离散平稳信源的信源熵和极限熵 二维信源 1 二维信源的信源熵 信源熵的说明 结论：离散无记忆信源的二次扩展信源可以看作 二维离散平稳信源的特例。 当X1和 X2取值于同一集合时, 结论：二维离散平稳有记忆信源的熵小于二维离 散平稳无记忆信源的熵。 例2.2.2 原始信源： 条件概率： X1