第1章 信源与信源编码..ppt

通信原理 信源与信源编码 信源与信源编码 信源与信源编码 1.1信源分类与统计特性描述 离散信源与连续信源 离散信源：文字、电报、各种数据等 连续信源：语音、图像等 单符号信源与符号序列信源 单符号信源：仅输出一个离散符号 统计特性 信源与信源编码 1.1信源分类与统计特性描述 单符号信源与符号序列信源 符号序列信源：输出一个离散符号序列 描述方法：用L 维随机矢量表示 样值： 统计特性 信源与信源编码 1.1信源分类与统计特性描述 单符号信源与符号序列信源 统计特性 无记忆序列信源：序列中前后符号相互统计独立 有记忆序列信源：序列中前后符号不是相互统计独立的,可用马尔可夫链表示 信源与信源编码 1.2信息熵 信息的基本特征：不确定性。因此信息应该是概率P的函数 信息的两个特点 随概率P的递减性：概率越大，信息量越小 可加性：两个独立消息的总信息量应是两个消息的信息量的和 满足这两个条件的表示信息量的函数只有一种可能：对数函数 信源与信源编码 1.2信息熵 单符号信源自信息量 理解：消息出现概率越小，信息量越大 两个单符号信源联合自信息量 信源与信源编码 1.2信息熵 单符号信源信息熵 前面定义的是一个具体消息的信息量，因为信源输出的消息有多种可能性，所以可以把信息熵理解为这个输出消息（考虑多种可能性）的平均信息量 信息熵也可以理解为对信源的不确定性的平均度量 在各种可能性等概时，信源的信息熵最大 信源与信源编码 1.2信息熵 信息熵与信息量的关系 信息熵表征信源的统计特性,是针对信源来说的. 信息量是接收端从信源获取的信息量. 两者在概念上有区别,在数量上不相等. 信源与信源编码 1.2信息熵 两个单符号信源的条件熵和联合熵 信源与信源编码 1.2信息熵 条件熵和联合熵的性质 信源与信源编码 1.2信息熵 信源冗余度 信源与信源编码 1.2信息熵 信源冗余度 信源与信源编码 1.2信息熵 信源冗余度 关于剩余度的理解: H∞是考虑全部信源统计特性后的最小信息熵，是信道传送理论上的最佳值，只要在信道传送H∞，在接收端利用信源统计关联的记忆特性，可恢复出全部信息. 由于存在着信源冗余,使得压缩编码成为可能. 信源冗余度是信源压缩编码的理论基础. 信源与信源编码 1.2信息熵 信源冗余度 例题：英文字母在英语中出现的概率统计如下，计算信源效率与信源冗余度。 信源与信源编码 1.2信息熵 信源冗余度 例题: H0=4.76b/符号 H1=4.03b/符号 H2=3.32b/符号 H3=3.1b/符号 H∞ =1.4b/符号（Shannon求得的推算值） 结论：剩余度0.7，说明压缩编码的必要。 信源与信源编码 1.3互信息 定义与理解 信源与信源编码 1.3互信息 各种熵的关系 信源与信源编码 回顾 信源分类与统计特性 单符信源－列举状态与概率 符号序列－列举状态与概率，状态数目？ 信息熵 单符信源的自信息量、联合自信息量、信息熵、联合熵、条件熵 互信息 信源剩余度 信源与信源编码 1.4-1.5无失真离散信源编码 信源编码 离散信源输出的是各种离散消息和符号 模拟信源输出的是模拟信号（连续信号） 离散数字信源存在信源冗余而必须进行压缩编码；模拟信源为了进行数字通信，必须进行信源编码，将信源输出转变成数字信息 信源编码中考虑的两个基本问题 编码输出的信息速率（总是希望它尽可能小） 编码所造成的失真尽可能小 信源与信源编码 1.4-1.5无失真离散信源编码 无失真离散信源编码 研究在无失真编译码条件下，传送离散信源发出信息的最小编码速率 两种基本编码方法 等长编码：编码输出的所有码字长度都相同 变长编码：编码输出码字长度不相同 信源与信源编码 1.4-1.5无失真离散信源编码 等长编码定理原理图 无失真要求：nL=mK（无信息丢失） 有效性要求： mK尽可能小 信源与信源编码 1.4-1.5无失真离散信源编码 等长编码定理原理 典型序列与非典型序列 信源序列中某些序列以概率1出现，且该集中的序列具有相同的出现概率。其它序列称为非典型序列。 编码要求 信源与信源编码 1.4-1.5无失真离散信源编码 等长编码定理 编码满足下式，当L足够大时，必然可以使译码差错率趋近于0（无失真或近似无失真） 反之，如果上式不满足，即R=K*log2m/LH(X)，则无论如何编码，译码必出错且差错率不趋近于0 缺陷：单符信源编码效率低；联合编码所需的位数很高 信源与信源编码 1.4-1.5无失真离散信源编码 变长编码定理 变长编码中，将信源输出的不同符号序列（取值概率不同）编码成长度不同的码字，编码输出的信息率为 如编码满足R=H(X)，则L足够大