[2018年最新整理]多符号离散平稳信源的熵.pptVIP

上一讲复习 1. 信源的分类 连续信源 信源 单符号无记忆离散信源 离散信源 单符号有记忆离散信源 符号序列无记忆离散信源 符号序列有记忆离散信源 2. 信源的数学模型 自信息量 一 些 关 系 式 通常用随机矢量来描述信源发出的消息序列，即 其中任一变量Xi 都是随机变量，它表示 t=i 时刻所发出的符号。信源在 t=i 时刻将要发出什么样的符号决定于以下两方面： 1. 与信源在 t=i 时刻随机变量Xi的取值的概率分布p(xi) 有关。一般情况下，t 不同时，概率分布也不同，即 2. 与 t=i 时刻以前信源发出的符号有关，即与条件概率 有关。同样在一般情况下，它也是时间t的函数，所以 以上所叙述的是一般随机序列的情况，它比较复杂。下面只讨论离散无记忆序列信源和两种比较简单的离散有记忆序列信源： 平稳序列信源 齐次遍历马氏链信源 2.2.1 离散无记忆的N次扩展信源的熵 如果有一个离散无记忆信源X，取值于集合{a1,a2, …,an}，其输出消息序列可用一组长度为N的序列来表示 即等效于一个新的信源。新信源每次输出的是长度为N的消息序列，用N维离散随机矢量来描述 Xi( i=1,2, …,N) ，其中每个分量 Xi都是随机变量，它们都取值于同一集合{a1,a2, …,an} ，且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。这种信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 理解 2.2.2 离散平稳(有记忆)信源的数学模型 平稳随机序列：是序列的统计性质与时间的推移无关，即信源所发符号序列的概率分布与时间起点无关。 若任意两个不同时刻i 和 j，信源发出消息的概率完全相同，则称这种信源为一维平稳信源。 二、N维离散平稳有记忆信源的熵 离散平稳信源有记忆信源的联合熵H(X1X2…XN)表示平均每发一个消息序列(由N个符号组成)所提供的信息量。 从数学角度出发，信源平均发一个符号序列所提供的信息量应为 称HN(X)为平均符号熵，当N→∞时，平均符号熵取极限值，称为极限熵或极限信息量，即 对于离散平稳信源，当H1(X)∞时，具有以下性质： 条件熵H(XN/X1X2…XN-1) 随N的增加是非递增的； N给定时，平均符号熵≥ 条件熵，即 HN(X) ≥ H(XN/X1X2…XN-1) 平均符号熵HN(X) 随N增加是非递增的。 【例2.2-4】已知离散有记忆信源中各符号的概率空间为 现信源发出二重符号序列消息(aiaj)，这两个符号的关联性用条件概率p(aj/ai) 表示，并由下表给出。求信源的序列熵和平均符号熵。 发二重符号序列的熵为 平均符号熵为 比较上述结果可知：H2(X)H1(X)，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由于符号之间存在相关性造成的。 对离散平稳信源，其联合概率具有时间推移不变性，此时有如下结论： （1）H (XN/XN-1)是N的单调非增函数。 （2） HN (X) ≥H (XN/XN-1). （3） HN (X)是N的单调非增函数。 （4）当N→∞时， H∞(X) 称为极限熵，又称为极限信息量。 于是有： 式中，H0(X)为等概率无记忆信源单个符号的熵，H1(X) 为一般无记忆信源单个符号的熵，H2(X) 为两个符号组成的序列平均符号熵，依此类推。 结论：公式（2.2.30）从理论上定义了平稳离散有记忆信源的极限熵，对于一般的离散平稳信源，实际上求此极限值是相当困难的。但对于一般的离散平稳信源，由于N值不是很大，所以可用非常接近H∞ (X) 的H(XN/X1X2 …XN-1)的极限值来代替。 因此，可用条件熵H(XN/X1X2 …XN-1)或者平均符号熵HN(X)取极限时作为平稳信源极限熵的近似值。 马尔可夫信源的概念 马尔可夫信源的转移概率 m阶马尔可夫信源的数学模型 m阶马尔可夫信源的极限熵等于m阶条件熵。 m阶马尔可夫信源与消息长度为m的有记忆信源的区别。 设一般信源所处的状态S∈{s1,s2, …,sJ}，在每一状态下可能输出的符号为 其中ak1ak2…akm为符号序列. 定义：若信源输出的符号序列和信源所处的状态满足以下两个条件： (1)在某一时刻l ，信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态及以前的输出符号都无关，这