王军选 信息论第二章2.4.pptVIP

2.4 离散无记忆的扩展信源 离散信源 单符号离散信源 离散序列信源 离散无记忆信源 一般无记忆 平稳无记忆 离散有记忆信源 平稳序列信源 马尔可夫信源 当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源 。 例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我们把该信源称为二元无记忆信源的二次扩展信源。 如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。 单符号离散信源X的数学模型： N次扩展信源与单符号离散信源比较：数学模型相同但输出不是单个符号，而是一串N个相互独立的符号序列： X＝(X1,X2,…, XN) ，联合分布密度P(X)=P(X1X2…XN) 把 X 等效为一个新信源，称为X的N次扩展信源，其数学模型： 离散平稳无记忆N次扩展信源的熵 H(X ) = H(XN) = N·H(X) [例] 求如下离散无记忆信源的二次扩展信源及其熵。 解：二次扩展信源的概率空间为 由于联合概率与条件概率有以下关系： 结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。 关于离散二维平稳信源联合熵 H(X1X2) 表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性（或所含有的信息量）。 可用H(X1X2)/2作为信源X的信息熵的近似值。 对离散二维平稳信源 [例]：有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C}，Y的信源符号为{D，E，F，G}，已知 P(X)和P（Y/X），求联合信源的联合熵和条件熵。 解：信源X的熵为： 1/6 3/10 1/4 G 1/6 1/5 1/4 F 1/2 1/5 1/4 E 1/6 3/10 1/4 D P(y/x) 1/6 1/3 1/2 P(x) C B A X * * 西安邮电学院通信工程系 * 一般情况下，对一个离散无记忆信源X，其样本空间为{a1,a2, …,aq} ，对它的输出消息序列，可用一组组长度为N的序列来表示它。这时，它等效成一个新信源。 新信源输出的符号是N维离散随机矢量X =(X1，X2,……,XN)，其中每个分量Xi (i＝1,2,…,N)都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量X 组成的新信源称为离散无记忆信源X的N次扩展信源。 因为是无记忆的(彼此统计独立)则： 其中： 同理计算式中其余各项，得到： H(XN) = H(X)+H(X)+……+H(X)= N H(X) 证： 1/16 a3 a3 ?9 1/16 a3 a2 ?8 1/8 a3 a1 ?7 1/16 a2 a3 ?6 1/16 a2 a2 ?5 1/8 a2 a1 ?4 1/8 a1 a3 ?3 1/4 a1 a1 ?1 1/8 概率P(?i) a1 a2 对应的符号序列 ?2 X2的信源符号 一、离散平稳信源的数学定义 在一般情况下，信源在 t = i 时刻将要发出什么样的符号决定于两方面： (1) 信源在 t = i 时刻随机变量Xi 取值的概率分布P(xi)。 [一般 P(xi) ? P(xj) ] (2) t= i 时刻以前信源发出的符号。 [即与条件概率P(xi/xi-1 xi-2…)有关] 对平稳随机序列，序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。 2.5 离散平稳信源 平稳随机序列的数学定义如下： 若当t = i，t = j时(i,j 是大于1的任意整数)，P(xi)=P(xj )=P(x)，则序列是一维平稳的。具有这样性质的信源称为一维平稳信源。 除上述条件外，如果联合概率分布P(xixi+1)也与时间起点无关，即P(xixi+1)=P(xjxj+1) (i,j为任意整数且i?j)，则信源称为二维平稳信源。它表示任何时刻信源发出二个符号的联合概率分布也完全相等。 如果各维联合概率分布均与时间起点无关，那么，信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。这时有： P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) = P(xj xj+1 … xi+N ) 从平稳性可得： 对平稳信源如果某时刻发出什么符号只与前面发出的N个符号有关，那么任何时刻它们的依赖关系都