5各种熵之间的关系.pptVIP

* * 2.1.5 各种熵之间的关系 X Y X Y X Y X Y X Y 2.2.1 无记忆扩展信源的熵 2.2.2 离散平稳信源的熵 2.2.3 马尔可夫信源 2.2.4 信源的冗余度 2.2 扩展信源 无记忆的离散信源序列 离散有记忆序列信源 离散平稳信源 马尔可夫信源 无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。 离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。 1、离散无记忆二进制信源X的二次扩展信源 每两个二进制数字构成一组，则新的等效信源X的输出符号为00，01，10，11。 若单符号离散信源的数学模型为 二次扩展信源的数学模型为 其中，X2表示二次扩展信源。这里，a1=00,a2=01,a3=10,a4=11。且有 2.2.1 无记忆扩展信源的熵 2、 离散无记忆信源X的N次扩展信源 （1）数学模型 设单符号离散信源的数学模型为 满足 则其N次扩展信源用XN来表示，其数学模型为 满足 每个符号ai对应于某个有N个xi组成的序列。 在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼此统计独立的，即 （2）熵 N次扩展信源的熵按信息熵的定义为 其单位为比特/符号序列。 H(XN)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+ H(XN/X1X2…XN-1) 由于无记忆扩展信源的各Xi之间是彼此独立的，且各个 H(Xi)=H(X),所以 H(XN)=H(X1 X2 …XN)= H(X1)+H(X2)+H(X3)+…+ H(XN)=NH(X) 单符号信源如下,求二次扩展信源熵 扩展信源： 例 离散平稳信源 各维联合概率均与时间起点无关的完全平稳信源。 对于随机变量序列X=X1X2…XN,若任意两个不同时刻i和j(大于2的任意整数)，信源发出消息的概率分布完全相同，即 一维平稳信源 P(Xi=x1)=P(Xj= x1)=p(x1) P(Xi=x2)=P(Xj= x2)=p(x2) … P(Xi=xn)=P(Xj= xn)=p(xn) ? 2.2.2 离散平稳信源的熵 1. 定义 二维平稳信源 P(Xi=x)=P(Xj= x)=p(x) P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2) 其中x1,x2∈X=(x1,x2,…xn) 离散平稳信源 P(Xi)=P(Xj) P(Xi Xi+1)=P(Xj Xj+1) … P(Xi Xi+1 Xi+2…Xi+N)=P(Xj Xj+1 Xj+2… Xj+N) 反映信源记忆特性的两方法： 用联合概率反映信源记忆特性 用条件概率反映信源记忆特性 1 2 2. 二维信源 每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。 一般地 例 原始信源： 条件概率： X1 X2 H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号) 3. N维离散平稳有记忆信源 (1) 熵 平均符号熵： 极限熵： (2) 极限熵 （3）性质 条件熵H(XN|X1X2…XN-1)随着N的增加而递减 证明： H(XN|X1X2…XN-1)≤H(XN|X2…XN-1)（条件熵小于等于无条件熵） = H(XN-1|X1X2…XN-2)（序列的平稳性） 若N一定，则平均符号熵大于等于条件熵 HN(X)≥H(XN|X1X2…XN-1) 证明： NHN(X)=H(X1X2…XN) =H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1) . = H(XN)+H(XN|XN-1)+…+H(XN|X1X2…XN-1) （序列平稳性） ≥NH(XN|X1X2…XN-1) （条件熵小于等于无条件熵） 所以 HN(X)≥H(XN|X1X2…XN-1) 平均符号熵也随N的增加而递减 证明： NHN(X)= H(X1X2…XN)= H(XN|X1X2…XN-1)+ H(X1X2…XN-1) = H(XN|X1X2…XN-1)+(N-1) HN-1(X)≤HN(X)+ (N-1) HN-1(X) 所以HN(X)≤HN-1(X)， 即序列的统计约束关系增加时，由于符号间的相关性，平均每个符号所携带的信息量减少。 如果H(X)∞，则存在 ，并且 ?