第2章 2.2-2.3多符号信源-连续信源.pdfVIP

第2章信息熵 第2章信源熵 •2.0 信源的数学模型及其分类 •2.1 信息的度量与信源熵 •2.2 多符号离散平稳信源 •2.3 连续信源 •2.4 离散无失真信源编码定理 2 多符号离散平稳信源 1. 多符号离散信源 • 实际信源输出的消息是时间上和空间上的一系列符号，每一位 出现的符号是随机的，用随机矢量或随机变量序列来表示： X X X X X X X 1 2 3 i j N • 一般地，不同时刻随机变量的概率分布不同： 和 P (X ) P (X i+ r ) i 不同，即随机变量的统计特性随着时间的推移而变化。 • 且一般前后符号之间是有统计依赖关系的。 2.平稳性 随机矢量中的各随机变量的各维联合概率分布均不随时间的推 移而变化，信源所发符号序列的概率分布与时间起点无关。 多符号离散信源 + 平稳  多符号离散平稳信源 3 第2章信源熵 •2.2 多符号离散平稳信源 • 2.2.1 序列信息的熵 • 2.2.2 离散平稳信源的数学模型 • 2.2.3 离散平稳信源的信息熵和极限熵 • 2.2.4 马尔可夫信源 • 2.2.5 信源冗余度和信息变差 2014/12/1 4 离散平稳无记忆信源 •单符号信源——用一维离散随机变量描述 X   x1 x 2 ... xn      p x p x p x  P   ( 1) ( 2 ) ... ( n ) 其中 ≥ ，，， p x i n ( i ) 0 1 2 ... n p x ∑ ( i ) 1 i 1 则信源输出符号为 “”和 “”， 例：若n＝2， 0 1 设P (X 0) p, P (X 1) p, p + p 1 X   0 1  此时，信源模型为     P  p p  5 离散平稳无记忆信源 定义： • 假定随机变量序列的长度是有限的，信源输出的消息序列中， 符号之间无相互依赖关系 ，这类信源称离散平稳无记忆信源 • 又称：单符号离散平稳无记忆信源的扩