不可能进行无失真信源编码.ppt

限失真信源编码 很多情况下，不可能进行无失真信源编码—— 如，连续信源的绝对熵 H 为无限大 很多应用中，没必要进行无失真信源编码—— 如，人眼所能分辨的灰度级 、颜色都是有限的. 人耳仅能感受 几KHz~十几KHz 的语音信号. 图像压缩 音频压缩 失真函数 允许失真与信息传输率的定性关系 失真函数的定义及失真矩阵 失真函数的基本要求 常用失真函数及其特点 失真矩阵举例 允许失真与信息传输率的定性关系 若允许失真越大，信息传输率可越小 若允许失真越小，信息传输率需越大 信息传输率与信源编码所引起的失真(或误差)是有关的 失真函数的定义 离散无记忆信源为： 接收端接收变量为: 失真函数(或单个符号失真度)是一个非负函数： d(ui,vj)≥0, i=1,2,…,n; j=1,2,…,m 用来测度信源发出符号为ui，接收符号为vj时所引起的误差或失真 失真矩阵 信源U有n个符号，接收变量V有m个符号 d(ui,vj)就有n×m个，可以排成矩阵形式，即： 称为失真矩阵D，是n×m阶矩阵 失真函数的基本要求 失真函数可有多种形式，但应尽可能符合信宿的主观特性，即主观上的失真感觉应与d(ui,vj)的值相对应 d(ui,vj)越大，所感觉到的失真也越大，而且最好成正比 当ui＝vj时，d应等于零，表示没有失真 当ui≠vj时，d为正值 常用失真函数 均方失真： 绝对失真： 相对失真： 误码失真： x—信源输出消息, y—信宿收到消息 图像的失真函数 常用失真函数的特点 均方失真和绝对失真只与(x－y)有关，在数学处理上比较方便 相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但其数学处理困难得多 前三种失真函数适用于连续信源，最后一种失真函数适用于离散信源 误码失真函数在接收符号与发送符号相同时失真度为零，在不同时失真度为常数c 常用失真函数的特点 如果误码失真的常数值为1，则称为汉明失真 离散对称信源的汉明失真矩阵 D为一方阵，且对角线上的元素为零： 失真矩阵举例 【例4―1】二元对称信源，信源U＝{0, 1}，接收变量V＝{0, 1}，在汉明失真定义下，失真函数为： d(0,0)＝d(1,1)＝0, d(0,1)＝d (1,0)＝1 求失真矩阵 【例4―2】设信源U＝{0, 1},接收变量V＝{0, 1, 2}，失真函数为d(0,0)＝d(1,1)＝0,d(0,1)＝d(1,0)＝1,d(0,2)＝d(1,2)＝0.5，求失真矩阵 【例4―3】信源U＝{0,1,2},接收变量V＝{0,1,2},失真函数为d(ui,vj)＝(ui－vj) 2，求失真矩阵 【例4―1】的失真矩阵 失真矩阵为 【例4―2】的失真矩阵 失真矩阵为 【例4―3】的失真矩阵 计算得：d(0,0)＝d(1,1)＝d(2,2)＝0 d(0,1)＝d(1,0)＝d(1,2)＝d(2,1)＝1 d(0,2)＝d(2,0)＝4 失真矩阵为 平均失真 信源平均失真及其取值范围 信源序列失真度（或失真函数） N维信源符号序列的平均失真度 单个信源符号的平均失真度 无记忆条件下的平均失真度 保真度准则 信源平均失真 因信源U和信宿接收量V都是随机变量，单个符号失真度d(ui,vj)也是随机变量，故可定义传输一个符号引起的失真为信源平均失真： ui——信源输出符号，i＝1，2，…，n p(ui)——信源输出符号ui的概率 vj——信宿接收符号，j＝1,2,…，m p(vj|ui)——广义无扰信道传递概率 信源平均失真的取值范围 信源平均失真 的下限通常是零，但这在所有概率p(ui)0时，只有当失真矩阵中每行至少一个是零时才能实现，否则平均失真不等于零 在实际情况中，一般 的下限为零 如果不为零，令d(ui,vj)=d(ui,vj)-minj{d(ui,vj)}，可使 的下限为零 信源序列失真度 信源序列失真度（或失真函数）定义为： S——信源的一个输出序列 Y——信宿的一个接收序列 sl——信源输出序列中的一个符号 yl——信宿接收序列中的一个符号 N维信源符号序列的平均失真度 信源序列失真度等于单个信源符号失真度之和 N维信源符号序列的平均失真度为： 单个信源符号的平均失真度 单个信源符号的平均失真度定义为： 无记忆条件下的平均失真度 在无记忆条件下，N维信源序列平均失真度为 ——信源序列中第l个分量的平均失真度 单个信源符号的平均失真度： 保真度准则 保真度准则指平均失真度不大于允许失真，即： N维信源序列的保真度准则是 率失真函数的定义 BD是所有满足保真度准则的试验信道集合 平均互信息量