第二章节 无失真信源编码.pptVIP

第二章 无失真信源编码 信息量、熵和互信息 信源编码定理 霍夫曼码及其他编码方法 算术编码 游程编码 改进的霍夫曼码 通用编码 第二章 无失真信源编码 无失真编码：保证信源产生的全部信息无失真地传递给信宿。（只有对离散信源可以实现无失真信源编码。）实质上是一种概率匹配编码。 限失真信源编码：在确定标准和准则的条件下，信源所必须传递的最小信息量。也称信息率失真函数（限定波形失真——波形编码，限定特性参量失真——参量编码）。 第二章 无失真信源编码 信源中的统计多余度主要取决于以下两个主要因素： 一是消息概率分布的非均匀性， 另一个是消息间的相关性。 对无记忆信源主要取决于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且相关性更加重要。 第二章 无失真信源编码 统计匹配编码：是根据信源的不同概率分布而选用与之相匹配的编码，以达到的系统同中传信速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。 2．1 信息量、熵和互信息量 时间发生的概率越小，不确定性就越大，给人的信息量就越小；发生的概率越大，不确定性就越小，给人的信息量就越大。 必须掌握的概率论知识 条件概率 联合概率 必须掌握的概率论知识 全概率： 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： 必须掌握的概率论知识 4)Bayes公式: 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： 2．1 信息量、熵和互信息量 信息量定义： （二）平均互信息 （二）平均互信息 （三）平均互信息的性质 说明：通信的意义——通过消息的传递可获得信息 2．? 极值性 ３．交互性（对称性) （三）平均互信息的性质 特殊信道 特殊信道总结 （三）平均互信息的性质 ※不同信源通过不同信道传输得到的平均互信息不同； （三）平均互信息的性质 （三）平均互信息的性质 （三）平均互信息的性质 （三）平均互信息的性质 （三）平均互信息的性质 2．2 信源编码定理 信源编码的无失真编码：接收端信宿要求无失真精确的复制信源输出的消息。只有对离散信源才可以实现无失真编码。 实质上是一种统计匹配编码——根据信源的不同概率分布而选用与之相匹配的编码，以达到在系统中传送速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。 2．2．1 信源编码的基本概念 信源编码：将信源输出符号，经信源编码器变换成另外的压缩符号，然后将压缩有信息经信道传送到信宿。只考虑信源和信宿两个因素。通信系统模型简化为P15图2-1 2．2．1 信源编码的基本概念 编码方法： 1）将待编码的字符作为终端结点，构造码树； 2）按一定规则给每个树枝分配一个标记； 3）将从根到终端结点的路径上的编号依次相连，作为该终端结点所表示的字符的编码。 2．2．1 信源编码的基本概念 译码方法： 1）从树根出发，根据接收到的第一个码字符号来选择应走的第一条路径。 2）沿所选路径走到分支结点，在根据收到的第而个码字选择应走的第二条路径。直至走到终端结点为止。 3）根据所走路径，可立即判断出接收到的码符号。 4）重新返回到树根，再作下一个接收码符号的判断。 其中， ? ，得： ?I.??? 固定信道（p一定），∴H(p)一定 I(X;Y)∝H(ω+p－2ωp) 由熵上凸性的该I(X;Y)为ω的上凸函数 I(X;Y) 1－H(p) 0 1/2 1 ω ω＝1/2时，I(X;Y)极大 I(X;Y)＝H(1/2)－H(p)=1－H(p) ? Ⅱ.???固定信源（ω一定） 则I(X;Y) ～ p，∴I(X;Y)=I(p) ∴I(p)为下凹函数 可求：p=1/2,I(X;Y)=0,极小 p=0,I(X;Y)=H(ω) p=1,I(X;Y)=H(ω) I(X;Y) 0 1/2 1 p 编码A器输入为： 编码器输出的码字为： 0001 11 01 11 u3 001 00 00 10 u3 01 11 10 01 u2 1 0 0 00 u1 变长码 等长码 码4 码3 码2 码1 符号 2．2．1 信源编码的基本概念 树图（码树）法： 树根=码字的起点 树的度=码元数 分支结点=码的符号的一部分 终端结点=待编码符号 满树=等长码： 树中各结点有相同树枝数，且每层结点树达到最大值。 非满树=变长码 2．2．1 信源编码的基本概念 * * 一个离散无记忆信源是由n个符号消息组成的集合:X={ x1，x2