信息论与编码InformationTheoryCoding.pptVIP

信息论与编码Information Theory Coding 第四章????? 限失真信源编码 限失真编码：信源编码经过译码后能保留应用要求的 信息，允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大，由于信道的带宽有限， 受信道容量的限制。不可能实现完全无失真的信源信息的 传输。(可能性) 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输. (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真. 语音信号传输 语音（音频）信号的带宽 ：20～20000HZ 实际应用音频范围: 电话质量: 300～3.4KHZ 电话公用网 调幅广播质量: 50 ～7 KHZ 有现场感的语音传输 高保真音频信号: 20 ～20 KHZ 高保真音响 图像信号传输 一路6MHz的普通电视信号数字化后，其数码率将 高达167Mbps，对储存器容量要求很大，占有的带宽将 达80MHz左右 表4－1 各种图像信号应用的码率 4.1 信息率失真函数 实际应用中 , 允许信号有一定的失真 , 当失真超过一定 限度后 , 信息将失去实用价值 , 因此要规定失真的限度. 信息率失真是A/D转换、量化、频带压缩和数据压缩的 理论基础. 4.1.1 失真函数 1) 失真函数定义 信源 经过信源编码后输出 对于每一对( xi , yj ) , 指定一个非负函数 d ( xi , yj ) ≥ 0 i = 1 , 2 , … , n j = 1 , 2 , … , m 称 d ( xi , yj ) 为单个符号的失真函数. 表示信源发出符 号 xi , 接收端再现 yj 所引起的误差或失真. d ( xi , yj ) = 0 无失真 , d ( xi , yj ) 0 有失真. 2) 常用的失真函数 1°平方误差失真函数 d ( xi , yj ) = (xi - yj )2 2°绝对误差失真函数 d ( xi , yj ) = | xi - yj | 3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi | 4°误码失真函数 失真函数1°,2°,3°用于连续信源 , 失真函数4°用 于离散信源 , 失真函数4°也称Hanmming失真函数. 3) 失真矩阵d n × m 矩阵 4.1.2 平均失真 xi 和 yj 均为随机变量 , 所以d ( xi , yj ) 也为随机变量 , d ( xi , yj )的平均失真用其数学期望或统计平均值描述 , 用 符号 表示. 4.1.3 信息率失真函数R(D) 1) 受信道容量的限制 , 实际应用中必须对信源进行压缩 , 应 1°使其压缩后的信息传输率小于信道容量; 2°保证压缩所引入的平均失真 不超过预先给定的允许 失真度D; 3°在满足 ≤ D的前提下 , 使编码后的信息率尽可能小. 不等式 ≤ D 称为保真度准则 2) 试验信道 1°有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即P(X)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为 PD={ p( yi | xj ): ≤ D ; i=1,2, … ,n ; j=1,2,…m } p( yi | xj )为信道的传递概率。 3) 信息率失真函数R(D) 定义 在允许信道 PD 中 , 寻求一个信道p( Y |X ) , 使给定 的信源经过此信道后 , 互信息量I(X ;Y )达到最小. 该最小 互信息量称为信息率失真函数R(D) , 简称率失真函数