第二章5-6节毕业(使用)1.pptVIP

* * X的N次扩展信源为 引言 定理 对于X的N扩展新源有 注：离散无记忆信源平均一个符号所含有的信息量，即信息熵为H(X). 例 1 例2 每帧电视图像可以认为是由3×105个像素组成，这些像素均是独立变化的，且每一个像素又取128个不同的亮度电平，并设亮度电平等概出现 . 问每帧图像含有多少信息量？若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概分布的，并彼此无依赖)？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解 设像素的亮度信源为 则每个像素亮度含有的平均信息量为 (比特/像素) . 一帧中像素均是独立变化的，则每帧图像信源就是像素亮度信源的无记忆N次扩展信源，故每帧图像含有的信息量为 (比特/帧) . 广播员口述时，是从10000个汉字字汇中选取的，已知汉字字汇是等概分布的，所以汉字字汇信源为 于是该汉字字汇中每个汉字含有的平均信息量为 (比特/字) . 广播员口述电视图像是从此汉字字汇中独立地选取1000个字来描述的，所以广播员描述此帧图像所广播的信息量为 (比特/千字) . 若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述此帧电视图像，每次口述一个汉字需用的信息量是H(Y)，而每帧电视图像含有的信息量为21×105，故广播员口述此图像至少需用的汉字数等于 (字) . 第i时刻发出的符号与什么有关？ 一般 时 ， 以上所述的是一般情况，比较复杂。本节只讨论平稳随机序列，直观讲，所谓平稳随机序列，是指…，现给出严格的数学定义。 如果信源输出的随机序列满足 即输出的随机序列的一维概率分布与时间起点无关，也就是 则称该信源为一维平稳信源 。 如果信源是一维平稳的，且输出的随机序列的二维联合概率分布还满足 则称信源为二维平稳信源。 由乘积事件的概率公式和完全平稳性，得 称这种信源为离散平稳信源。 则信源是完全平稳信源， 如何对离散二维平稳信源进行信息测度呢？ 为了便于比较，我们总是希望用一个共同的可比的标准来衡量各种信源的信息特性，这个可比的共同标准就是信源发一个符号能提供的平均信息量。 为了使分析简单和直观，我们假定信源序列中只是前后两个符号之间有关联。 由此得二维平稳信源信息熵的近似值为 我们可以把这个信源输出的随机序列分成每两个符号一组，并假设组与组之间是统计独立的，这时信源的输出就可等效成一个新的离散无记忆信源X1X2，它们的联合概率空间为 或 含义 定理 当且仅当X1和X2统计独立时等号成立。 由强可加性，得 当且仅当X1和X2统计独立时等号成立。 直观解释 同理可证明 [例2.7] 极限熵的定义： 定理： 证明：（1）可证明 （2）由强可加性，得 （3）由强可加性及平均符号熵的定义，得 （4）因 所以，由单调有界数列必有极限原理知 下面证明(4)的第二部分 两边取极限，有 由性质（2），有 故有 从而性质（4）成立。 现在来计算例2.7中的极限熵，该例中假设信源发出的符号只与前一个符号有关，所以有 故