离散平稳信源的极限熵.ppt

电子信息工程学院 电子信息工程学院 电子信息工程学院 2.5.3离散平稳信源的极限熵 在一般离散平稳有记忆信源中，符号的相互依赖关系往往不仅存在于相邻两个符号之间，而且存在于更多的符号之间。 设离散平稳有记忆信源 且 输出的符号序列为 2.5 离散平稳信源 假设信源符号之间的依赖长度为N并已知各维概率分布（它们不随时间推移而改变） 简写为 并满足 2.5 离散平稳信源 可求得离散平稳信源的一系列联合熵： 此值称为平均符号熵 为计算离散平稳信源的信息熵，我们定义N长的信源符号序列中平均每个信源符号所携带的信息量为： 同时，若已知前N-1个符号，第N个符号的平均不确定性(平均信息量)，可从条件熵定义得出： 2.5 离散平稳信源 对于离散平稳信源，当 时，则具有以下几点性质： 1、条件熵 随N的增加是非递增的； 2、N给定时，平均符号熵≥条件熵，即 ； 3、平均符号熵 随N增加也是非递增的； 4、 存在，并且 称 为离散平稳信源的极限熵或极限信息量，也有称它为离散平稳信源的熵率。 2.5 离散平稳信源 性质说明： 性质（1）表明在信源输出序列中符号之间前后依赖关系越长，前面若干个符号发生后，其后发生什么符号的平均不确定性就越弱。也就是说，条件越多的熵必小于或等于条件越少的熵，而条件熵必小于等于无条件的熵。 性质（2） （3） （4）表明：对于离散平稳信源，当考虑依赖关系为无限长时，平均符号熵和条件熵都非递增地一致趋于离散平稳信源的信息熵（极限熵）。所以我们可以用条件熵或者平均符号熵来近似描述离散平稳信源。 2.5 离散平稳信源 性质的证明：（1） 由条件熵和无条件熵的关系的及信源的平稳性可得： 由此递推，对于离散平稳信源有 故得 条件熵随着N的增加是非递增的。 2.5 离散平稳信源 直接运用性质（1）得 即平均符号熵不小于条件熵。 性质的证明：（2） 2.5 离散平稳信源 根据概率关系和平均符号熵定义，有 所以 再运用性质（2）得 即 是随 N 增加而非递增的。 性质的证明：（3） 2.5 离散平稳信源 另设一整数k，有 因为 即有 故 存在，且为处于0和 之间的 某一有限值。 性质的证明：（4） 2.5 离散平稳信源 所以前一项 可以忽略 当固定N，k取足够大时 ，由于 和 而后一项，因为 ，所以得 性质的证明：（4） 为定值， 仍根据条件熵和非递增性和平稳性，有 2.5 离散平稳信源 再令 因极限存在 所以得 又由性质（2），令 得 由上两式可得 对于一般的离散平稳信源，实际上求此极限是相当困难的。然而，对于一般离散平稳信源，由于N不很大时就能得出非常接近 的 或者 。因此，可以用条件熵或平均符号熵作为离散平稳信源极限熵的近似值。 性质的证明：（4） 2.5 离散平稳信源 当平稳信源的记忆长度有限时，设记忆长度为m（即某时刻输出什么符号只与前m个符号有关），则离散平稳信源的极限熵 等于有限记忆长度为m的条件熵。所以，对于有限记忆长度的离散平稳信源可用有限记忆长度的条件熵来对离散平稳信源进行信息测度。