信息论 第七篇.pptVIP

第七章 保真度准则下的信源编码 第七章 保真度准则下的信源编码 7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 7.3 二元信源和离散对称信源的 R(D)函数 7.6 连续信源的信息率失真函数 7.7 保真度准则下信源编码定理 7.1.1 失真度 7.1.2 平均失真度 7.1.3 保真度准则 方法 抽象：将与讨论重点关系小的部分抽象 涉及信源编码, 对信道进行抽象 信道编码→信道→信道译码 广义无扰信道* 广义无扰信道*可以略去 信道*是一个没有干扰的广义信道，信宿收到信息的失真只来自于信源编码. 方法 虚拟：将讨论重点虚拟细化 将限失真信源的编译码过程虚拟 信源编码→广义无扰信道→信源译码 试验信道 可以用信道传递概率来描述限失真信 源编译码前后的关系 数据压缩视为消息通过信道, 编码失真 视为信道噪声. 失真度定义 信源变量 信源分布 7.2.1 信息率失真函数 7.2.2 信息率失真函数的性质 7.3.1 二元对称信源的R(D)函数 7.3.2 离散对称信源的R(D)函数 1. 绘制根轨迹的基本法则 2. 闭环极点的确定 . 谢 谢! 7.1.3 保真度准则 （1）若平均失真度 不大于所允许的失真D，即 ，称此为保真度准则。 （2）对于N维信源序列，保真度准则为 （3）当信源固定（p(u)给定），单个符号失真度固定（ 给定）时，选择不同的信道，相当于不同的编码方法，所得到的平均失真度 不同。有些信道满足 ，另一些 。把满足D失真许可信道组成一个集合BD， 7.2 信息率失真函数及其性质 7.2.1 信息率失真函数 1.已知： 与失真函数 、信源分布 和信道传输函数 有关。当 和 给定后,不同的 将决定了不同的 。 2.在保真度准则条件下： 存在信道满足的集合 。 3.信道的互信息 是信道传递函数 的U型凸函数，因此某一信道 使 取极小值 4.定义满足失真条件下信源必须传输的最小平均信息量为信息率失真函数，或称率失真函数。 7.2.1 信息率失真函数 离散无记忆平稳信源情况下 物理意义 并不是实际的信道, 而是有失真信源编码或信源压缩的处理. 进而可求出平均互信息的最小值. 即改变编码方法使平均互信息最小, 实质上是选择一种编码方法使信息传输率最小. 是信源特性参数,与试验信道的选择无关. 反映了信源可以压缩的程度,是在满足一定失真度 ( )要求下,信源可压缩的最低值. 7.2.2 信息率失真函数的性质 是D的函数,当D很小时, 应很大。 1. 的定义域(0, Dmax) 7.2.2 信息率失真函数的性质 是D的函数,当D很小时, 应很大。 1. 的定义域(0, Dmax) (3) 由(2)定义得 是使 的全体概率集合。即 和 统计独立。 当 时, 此时信源不需要输出任何信息. 7.2.2 信息率失真函数的性质 [例] 规定失真度为汉明失真度，失真矩阵为 求：(1) (2) 达到最小值 时的信道函数？(3)此时的 7.2.2 信息率失真函数的性质 表示为满足保真度准则 ,信道V必须从信源U获取的信息量,即信源必须输出的最小信息率 — 信源U的率失真函数。 7.2.2 信息率失真函数的性质 [例] 要求同上例 7.2.2 信息率失真函数的性质 [例] 要求同上例 总结：上面三例中,失真矩阵 每列只有一个最小值,当允许失真度 取最小值 时， 信源输出符号数不能有任何的压缩。 7.2.2 信息率失真函数的性质 [例] 要求同上例 三种典型取值 信源的信息率可压缩. 7.2.2 信息率失真函数的性质 2. 是关于D的U型凸函数 在允许失真度D的定义域内, 是D的U型凸函数. 3. 函数的单调递减性和连续性 计算 的条件是 ,显然当 时, 将最小。 7.2.2 信息率失真函数的性质 4. 的典型图形