第4章 离散信源编码理论.ppt

第4章 离散信源编码理论 主讲 邓家先 目录 4.1 信源编码的基本概念 4.2 渐近等同分割性 4.3 信源无失真编码 4.3.1 等长码 4.3.2 变长码 4.4 信息率失真函数及性质 4.4.1失真测度 4.4.2 信息率失真函数的定义 4.4.3 信息率失真函数的性质 4.5 信息率失真函数的计算 4.6 信息率失真函数的迭代算法 4.7香农第三定理 通信的实质是将信息从信源传输到信宿，即将信源输出的符号经过信道传送到信宿，在信宿精确或者近似重现信源发送的信息 。 需要解决两个问题： (1) 信源的输出如何描述，即如何计算信源产生的信息量； (2)如何表示信源的输出，即信源编码问题。 这两个问题都与信宿对通信质量的要求有关 如果要求精确地重现信源的输出，就要求信源产生的信息全部无损传送到信宿，需要对信源进行无失真编码； 如果不要求在信宿精确重现信源的输出，只要满足一定的重建质量要求即可，此时允许信息传输过程中出现一定失真，这就是限失真编码问题。 通信系统的信道容量是有限的，根据第3章中信源与信道匹配理论，为了有效传输信息，信道的输入分布应当尽可能接近信道要求的最佳分布。 实际信道很多都是对称信道，最佳分布为等概率分布，这就要求对信源进行编码，除去信源输出符号之间的相关性，从而实现信道输入与信道的匹配。 4.1 信源编码的基本概念 信源编码的实质