第4章信息率失真函数.pptVIP

本章节教学内容、基本要求、重点与难点 1.教学内容： 失真函数的定义 率失真函数的定义、性质 率失真函数的计算 2.教学基本要求： 掌握率失真函数的定义和意义 掌握率失真函数的性质、计算 3.重点与难点： 率失真函数的计算 本次课内容 4.1 基本概念 4.1.1 失真函数（失真度） 4.1.2 平均失真度 4.1.3 信息率失真函数 4.1.4 信息率失真函数的性质 第4章 信息率失真函数 在实际信息处理过程中，由于存在信道噪声的干扰，或信源信息以超过信道容量的速率传输时产生的差错或失真,信宿接收到的信息会有一定的失真。 实际传输允许有一定的失真，关键是如何减小失真，允许失真到什么程度。在允许一定程度的失真条件下，把信源信息压缩到什么程度。 本章我们从最少信息率，失真函数、平均失真出发，研究信息率失真函数的定义和性质，给出离散信源和连续信源求解信息率失真函数的常用简单方法。 4.1 基本概念 4.1.1失真函数（失真度） 为什么引入失真函数？ 在实际问题中，信号有一定的失真是可以容忍的，但是当失真大于某一限度后，将丧失其实用价值。 要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数. 失真函数定义: 若失真矩阵中每一行都是同一集合中诸元素的不同排列，并且每一列也都是同一集合中诸元素的不同排列，则称具有对称性。以这种具有对称性的失真矩阵度量失真的信源称为失真对称信源（简称对称信源）。 将在其它章节讲。 2.离散信源序列的失真函数 定义: 信源序列的失真函数 4.1.2平均失真度 定义: 由于ai和bj都是随机变量，所以失真函数 d(ai,bj)也是随机变量，要分析整个信源的 失真大小，需要用其数学期望或统计平均值 表示，将失真函数的数学期望称为平均失真 度，即。 1.离散信源平均失真度 2.离散信源序列的平均失真度 (1)信源序列的平均失真度： 3.连续信源的失真函数和平均失真度 定义：设连续信源输出随机变量X，取值于实数 域R，其概率密度分布为P(X)，经过有失 真的信源编码器，输出的随机变量Y，取值 于实数域R。 在对应的a和b之间确定非负二元实函数d(a,b)≥0，(a,b∈R),连续信源的平均失真度为： 4.常用的失真函数和平均失真度 (1)汉明失真函数 (2)常数失真函数 (3)均方失真函数 (4)绝对失真函数 (5)相对失真函数 均方失真和绝对失真只与a-b有关，而不是分别与a及b有关，在数学处理上比较方便；相对失真与主观特性比较匹配，但在数学处理中困难得多。 在实际问题中还可提出许多其它形式的失真函数。 4.1.3 信息率失真函数 信源编码器的目的是使编码后所需的信息传输率尽量小，然而越小，引起的平均失真就越大。通常要将平均失真限制在某一有限值内，即，并选择一种方法使信息率尽可能小。对失真的限制条件称为保真度准则。 信息率失真函数推广到序列情况: 4.1.4 信息率失真函数的性质 1.函数的定义域为 (2)定义域上界： 当a,b独立时， ，使得R(D)=0。所以 注: (1)当失真矩阵的每一行至少有一个零元素时. 【例4.1-1】 设试验信道输入符号｛a1,a2,a3｝，概率分别为 ，失真矩阵如下所示. 求Dmax和Dmin以及相应的试验信道的转移概率矩阵。 令对应最小d(ai,bj)的 ，其它为0。可得对应的的转移概率矩阵为 上式中第2项最小，令 。可得对应的转移概率矩阵为 ２、R(D) 是关于D的的下凸函数 设D1,D2为任意两个平均失真， ，那么 上次课内容 本次课内容 4.2离散信源R(D)的计算 已知信源的概率分布P(a)和失真函数d(a,b)，离散信源的R(D)函数是选取试验信道 满足 引入待定参量S和λi，在失真不超过D时，使平均互信息达到极小值的试验信道的传递概率密度函数必满足 因信息率失真函数R(D)是D的单调递减函数且是U型凸函数，所以R(D)的斜率S≤0，S随D的增加递增，即。 离散信源函数R(D)求解步骤 求s得: 若信源和信道均无记忆，则有： N维序列的信息率失真函数： 此时试验信道为所有满足保真度准则