2信源与信息熵3 信息论与编码 教学课件.ppt

2.3 离散序列信源的熵 通常，实际信源每次输出的往往不是单个的符号，而是一个符号序列。通常一个消息序列的每一位出现哪个符号都是随机的，(一般前后符号之间的出现是有统计依赖关系的，)这种信源称之为离散序列信源。 信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为离散序列平稳信源。 本节在首先讨论无记忆信源后，对于有记忆信源只讨论两种情况：平稳有记忆信源序列和齐次可遍历马氏链信源。 2.3.1 离散无记忆序列信源的熵 如果有一个离散无记忆信源X，取值于集合X={x1，x2，…，xl}，其输出消息序列可用若干个长度为L的序列来表示，即等效于一个新的信源(X的L重/次扩展信源)。 新信源每次输出的是长度为L的消息序列，用L维离散随机向量/矢量来描述X=(X1，X2，…，XL) ，其中每个分量都是随机变量Xi(i=1，2，…，L)，它们都取值于同一集合{x1，x2，…，xn}，且分量之间统计独立，则由随机向量X组成的新信源称为离散无记忆信源X的L重/次扩展信源，这是最简单的符号序列无记忆信源。 离散无记忆信源的序列熵 设信源输出的随机序列为X=(X1，X2，…，XL)，序列长为L，序列中的变量为Xl∈{x1，x2，…，xn}。随机序列的概率为 对无记忆信源，条件概率等于无条件概率，故 可以证明，序列信源的序列熵（联合熵）为 i=nL 。若又满足平稳性，即与序号l无关时，则信源的序列熵可以表示为H(X)=LH(X)，平均每个符号熵为： 离散无记忆信源的序列熵 可见，离散无记忆信源X的L次扩展信源(或称序列信源)的序列熵是单符号离散信源X的熵的L倍。 H(X)=LH(X) 离散无记忆平稳信源平均每个符号的符号熵HL(X)就等于单个符号信源的符号熵H(X)。 2.3.2 离散有记忆信源的序列熵 平稳随机序列的定义：不严格的讲，所谓平稳随机序列，就是序列的统计特性(事件发生的概率)与时间的推移无关，即信源所发符号的概率分布与时间起点无关，也即是信源是稳定的。 随机序列可以看成一个多维随机向量，各维联合概率均与时间起点无关的。 对于平稳信源来讲，其条件概率也均与时间起点无关，只与关联长度L有关。 平稳随机序列的熵 (参见：教材P29~30。) 若信源输出一个L长序列，则信源的序列熵为 N维离散平稳有记忆信源的熵 表示平均发一个消息(由N个符号组成)所提供的信息量。从数学角度出发，信源平均发一个符号所提供的信息量应为 HN(X)为平均符号熵。 当信源退化为无记忆时，有 若进一步满足平稳性，即与序号l无关时，则有H(X)=LH(X)。 这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。 例2-11(P30) 已知离散有记忆信源中各符号的概率空间为 现信源发出二重符号序列消息(ai，aj)，这两个符号的关联性用条件概率p(aj/ai)表示，由下表给出。 求：信源的序列熵、平均符号熵。 分析： 本题可以直接根据离散序列信源的序列信源联合熵的定义来计算； 此处利用联合熵的性质进行计算。 所以，发出二重符号序列的熵为 平均符号熵为 比较上述结果可知： ，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由于符号之间存在相关性造成的。 对离散平稳信源，其联合概率具有时间推移不变性，此时有如下结论： (1) H(XL|XL-1)是L的单调递减函数。 条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵。 (2) HL(X)是L的单调递减函数。 (3) HL(X)=H(XL|XL-1) 根据结论(1)与(2)，当L→∞时H(XL|XL-1)或HL(X)将非递增地趋近于一个非负数！ (4) 符号熵当L→∞时，平均符号熵取极限值， H∞(X)称为极限熵。 结论(4)从理论上定义了平稳离散有记忆信源的极限熵。 对于离散平稳信源，当考虑依赖关系为无限长时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。 于是有： 式中，H0(X)表示等概率无记忆信源单个符号的熵，H1(X)为一般无记忆信源单个符号(概率分布可以不相等)的熵，H2(X)为两个符号组成的序列平均符号熵，依此类推。 对于一般的离散平稳信源，实际上求此极限值是相当困难的。 但对于一般的离散平稳信源，由于取L不很大时就能得出非常接近H∞(X)的平均符号熵HL(X)或者条件熵H(XL/X1X2…XL-1) 。因此，可用HL(X)或者H(XL/X1X2…XL-1)作为平稳信源极限熵的近似值。 齐次可遍历马氏链的极限熵 例2-12(P33) 已知一个三状态的马氏链的状态转移概率，求信源极限熵。 分析