信息论与编码民大03-多符号离散信源.ppt

多符号离散信源 多符号离散信源 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为多符号离散信源。 随机矢量/随机变量序列 多符号离散信源可用随机矢量/随机变量序列描述，即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。 多符号离散平稳信源 为了便于研究，假定随机矢量X中随机变量的各维联合概率分布均不随时间的推移变化。或者说，信源所发符号序列的概率分布与时间的起点无关，这种信源称为多符号离散平稳信源。 离散无记忆信源 为了方便，假定随机变量序列的长度是有限的，如果信源输出的消息序列中符号之间是无相互依赖关系/统计独立，则称这类信源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。 离散无记忆信源的数学模型 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以用一组组长度为N的序列来表示它。这时它就等效成了一个新信源； 新信源输出的符号是N长的消息序列，用N维离散随机矢量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X，并且分量之间统计独立。 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。 N次扩展信源的数学模型 单符号离散信源的数学模型为 信源X的N次扩展信源用XN表示，它是具有nN个元素(消息序列)的离散信源，其数学模型为 其中q=nN，每个符号ai是对应于某一个由N个xi组成的序列 ai的概率p(ai)是对应的N个xi组成的序列的概率 因为信源是无记忆的，所以消息序列 离散平稳无记忆信源的熵 因为是无记忆的/统计独立 根据信息熵的定义，N次扩展信源的熵 可以证明：离散无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍，即 H(X)=H(XN)=NH(X) 离散平稳信源 如果各维联合概率分布均与时间起点无关，即对两个不同的时刻i和j，有 P(Xi)=P(Xj) P(XiXi+1)= P(XjXj+1) P(XiXi+1Xi+2)= P(XjXj+1Xj+2) … P(XiXi+1…Xi+N)= P(XjXj+1…Xj+N) 这种各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。 二维平稳信源的数学模型 最简单的离散平稳信源：二维平稳信源 X=X1X2 每两个符号看做一组，每组代表信源X=X1X2的一个消息； 每组中的后一个符号和前一个符号有统计关联，这种概率性的关系与时间起点无关； 假定符号序列的组与组之间是统计独立的。 设X1,X2 ∈{x1,x2,…,xn},则矢量X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令 X的数学模型 二维平稳信源的信源熵 根据信源熵的定义 结论：两个有相互依赖关系的随机变量X1和X2所组成的随机矢量X=X1X2的联合熵H(X),等于第一个随机变量的熵H(X1)与第一个随机变量X1已知的前提下，第二个随机变量X2的条件熵H(X2/X1)之和。 H(X) = H(X1)+ H(X2/X1) 离散平稳信源的信源熵 将二维离散平稳有记忆信源推广到N维的情况 H(X)= H(X1X2…XN-1XN) = H(X1)+ H(X2/X1)+ H(X3/X1X2)+…+ H(XN/X1X2…XN-1) [证明]：见下页 结论：多符号离散平稳有记忆信源X的联合熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。由于信源是平稳的，这个和值与起始时刻无关。 离散平稳有记忆信源的极限熵 H(X)= H(X1X2…XN-1XN)/联合熵表示平均发一个消息（由N个符号组成）提供的信息量。 平均符号熵：信源平均每发一个符号提供的信息量为 极限熵：当N→∞时，平均符号熵取极限值称之为极限熵或极限信息量。用H∞表示，即 极限熵的存在性：当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等