信息导论-第4讲-信源熵.pptVIP

2.2 多符号离散信源 2.2.1 多符号离散信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差 2.2.1 多符号离散信源 (1) 多符号离散信源 (2) 随机矢量/随机变量序列 (3) 多符号离散平稳信源 (1) 多符号离散信源 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为多符号离散信源。 (2) 随机矢量/随机变量序列 多符号离散信源可用随机矢量/随机变量序列描述，即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。 (3) 多符号离散平稳信源 为了便于研究，假定随机矢量X中随机变量的各维联合概率分布均不随时间的推移变化。或者说，信源所发符号序列的概率分布与时间的起点无关，这种信源称为多符号离散平稳信源。 附: 离散平稳信源的数学模型 ① 一维平稳信源 ② 二维平稳信源 ③ 离散平稳信源 ① 一维平稳信源 对于随机矢量X=X1X2…XN， 若任意两个不同时刻i和j（大于1的任意整数）， 信源发出消息的概率分布完全相同，即 P(Xi=x1)=P(Xj=x1)=p(x1) P(Xi=x2)=P(Xj=x2)=p(x2) … P(Xi=xn)=P(Xj=xn)=p(xn) 一维平稳信源无论在什么时刻均以{p(x1), p(x2), …, p(xn)}分布发出符号。 ② 二维平稳信源 除上述条件外，如果联合概率分布P(XiXi+1)也与时间起点无关，即 P(XiXi+1)= P(XjXj+1) （i，j为任意整数，且i≠j） 这种信源在任何时刻发出两个符号的概率完全相同。 ③ 离散平稳信源 如果各维联合概率分布均与时间起点无关，即对两个不同的时刻i和j，有 P(Xi)=P(Xj) P(XiXi+1)= P(XjXj+1) P(XiXi+1Xi+2)= P(XjXj+1Xj+2) … P(XiXi+1…Xi+N)= P(XjXj+1…Xj+N) 这种各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。 2.2.2 离散平稳无记忆信源 (1) 离散平稳无记忆信源 (2) 离散平稳无记忆信源的熵 (3) 举例 (1) 离散平稳无记忆信源 ① 基本概念 ② 序列的成组传送 ③ 离散平稳无记忆信源的数学模型 ① 基本概念 离散平稳无记忆信源：为了方便，假定随机变量序列的长度是有限的，如果信源输出的消息序列中符号之间是无相互依赖关系/统计独立，则称这类信源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。 ② 序列的成组传送 把信源输出的序列看成是一组一组发出的。 例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。 二进制无记忆信源的N次扩展：把每N个二进制数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二进制无记忆信源的N次扩展信源。 ③ 离散无记忆信源的数学模型 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以用一组组长度为N的序列来表示它。这时它就等效成了一个新信源； 新信源输出的符号是N长的消息序列，用N维离散随机矢量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,nN 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X，并且分量之间统计独立。 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。用N重概率空间来描述它。 N次扩展信源的数学模型 单符号离散信源的数学模型为 信源X的N次扩展信源用XN表示，它是具有nN个符号的离散信源，其数学模型为 其中q=nN，每个符号ai是对应