第三章 离散信源..pptVIP

* 离散无记忆信源的等长编码 * Def. 编码效率 η=H（U）/R η=H（U）/[H（U）+ε] * 离散无记忆信源的等长编码 等长编码的问题 可能码长很大才能满足误码率、编码效率、编码速率等方面的要求 * 定长编码需要取很大数量的符号一起编码，显然不现实，倘若采用变长编码，情况就大不一样了。 后面介绍几个重要的信源分类。 每N个符号看作一个符号，可以取2N种值，即该信源有2N个符号。 等长编码：每个符号用相同长度的码字进行编码。 信源字母表和码的字母表不同；信源字母表：信源符号；码的字母表：码符号。 N维向量中每个分量的取值可以为D种，那么能够选择的不同码字的个数为DN。 不等长编码：D+ D2+ D3+……..+ DN= D(DN-1)/(D-1) 等长编码的一个优点。 DN：可以取的码字的个数。 KL ：事件的个数。 每个码字可能的取值个数为DN，那么log DN为这N长码字所能表示的信源的最大的信息量。NlogD/L则采用N长码字编码，为L维随机变量平均每个分量所能表示的信息量。 编码设备的编码速率（单位事件内可以表达的信息量）需要大于这个信息量，才能将所有事件所包含的信息表示出来。 每个码字可能的取值个数为DN，那么log DN为这N长码字所能表示的信源的最大的信息量。 同理， log KL为该L维信源所包含的最大信息量。那么需要log DN ≥ log KL 每个事件的最大取值为K种，那么信源熵最大值为logK（平均信息量的最大值） 当logKRH(U)时，可以适当地编码和译码使译码错误的概率pe任意小。这就是所谓“渐进无错编码”。 主要是因为在实际信源中，不可能信息量为H(U) 无论如何表示不了那么多的信息。 板书NlogD ≥L[H(U)+εL] Wuhan University Wuhan University * 第三章 离散信源 3.1 信源及其分类 3.2 离散无记忆信源的等长编码 * * 信源的描述及分类 信源的统计特性 * 信源是信息的来源,是产生消息(符号)或消息序列的来源。 由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。 在一个固定的时刻，信源发出的是一个随机变量 随着时间的延续，信源发出的是一个随机过程。 * 信源的描述及分类 * 按照某取值时刻消息的取值集合的离散性和连续性,信源可分为离散信源和连续信源; 按照信源输出的消息所对应的随机序列的平稳性,信源可分为平稳信源和非平稳信源； 按照信源输出的消息所对应的随机序列中随机变量前后之间有无统计依赖关系,信源可分为无记忆信源和有记忆信源. 信源的分类 * 信源的描述与分类 * 离散信源：信源每隔一个定长时间段就发出一个随机变量；随着时间的延续，信源发出的是随机变量序列 …U-2U-1U0U1U2…， 其中，Uk为第k个时间段发出的随机变量； 每个Uk都是一个离散型的随机变量。 * 信源的描述与分类 * 例如：投硬币、计算机代码、电报符号、阿拉伯数码字，离散化后的语音和图象。 * 信源的描述与分类 * 离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散有记忆信源：输出的随机序列X中各随机变量之间有依赖关系。 Esp. 简单无记忆信源： 各符号彼此独立且服从同一概率分布， * 单符号信源的扩展 二进制无记忆信源的N次扩展：把每N个二进制数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为单符号二进制无记忆信源的N次扩展信源。 * 单符号信源的扩展 例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。 * 信源的描述与分类 * 例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有： * 信源的描述与分类 * Esp. 有限记忆信源： UL的取值只与前面有限个随机变量有关。 m： 记忆阶数 m =1： 马尔可夫信源 * 连续信源：输出符号集的取值是连续的或不可数的，可以用一维连续型随机变量X来描述这些信息的输出。 * 信源的描述与分类 * * 例如：模拟语音、模拟图象信号、热噪声信号某时间的连续取值数据，电压、温度等测得的连续数据等。 其中(a,b)是连续型随机变量X的取值区间,R表示实数集, p(x)是其概率密度函数. 信源的描述与分类