第四章-信道率失真函数后续习题课ppt-4.1平均失真和信息率.ppt

4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质 “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。 实际中允许一定程度的失真 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。 问题：在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？ 定义失真函数： 失真矩阵 失真度还可表示成矩阵的形式 称d 为失真矩阵。它是n×m阶矩阵。 如例题：4－1 信源符号X取自{0，1},编码器输出符号取自{0,1,2}, 规定失真函数为： d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5, 则失真矩阵为： 平均失真定义 d(xi , yj)只能表示两个特定的具体符号 xi和 yj之间的失真。 平均失真：平均失真为失真函数的数学期望， 平均失真的意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。 试验信道 平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以求出满足保真度准则 下的所有转移概率分布 pij，构成一个信道集合PD， 那么PD 称为D允许试验信道。 信息率失真函数 在信源和失真度给定以后，PD是满足保真度准则 的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj /xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即 这个最小值R(D)称为信息率失真函数，简称率失真函数。 对无记忆离散信源，有： 1. R(D)的定义域(D的取值范围) （1）因为D是非负函数d(x,y)的数学期望，因此D也是非负函数，其下界为0。此时，意味着不允许失真，所以信道的信息率等于信源的熵，即 的计算： 设当平均失真 时， R(D)以达到其下界0。当允许 更大失真时，即 时， R(D)仍只能继续是0。因为当 X和Y统计独立时，平均互信息 I(X;Y)=0，可见当 时， 信源X和接收符号Y已经统计独立了， 因此 与 xi 无关。 因此， 就是在R(D)=0的条件下，看在什么 分布下，能够得到的平均失真D的最小值，即 也就是说要求d(y)的数学期望最小值。 这个最小值是一定存在的。比如 这样分布：当某一个 使得 d(yj) 为最小时，就取 ，而其余的 ，此时求得的d(y)的数学期望一定是最小的。此时，有 求 ， 。 解： 2. R(D)的下凸性和连续性 （1）率失真函数对允许平均失真度的下凸性 对任一0≤α≤1和任意平均失真度D’，D’’≤Dmax，有 R[ α D’+(1－ α )D’’]≤α R(D’)+(1－ α )R(D’’) R(D)的单调递减性 在DminDDmax范围内R(D)单调递减。 允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，他是在平均失真度小于或等于允许失真度D的所有试验信道集合PD中，取I(X;Y)的