[信息与通信]第4章信息论与编码 信息率失真函数.ppt

第4章　信息率失真函数 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 因此，可以对信源输出的信息进行失真处理，通过降低信息率，提高传输效率。 本章主要讨论在一定程度的失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率的失真函数。 第4章　信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 失真函数 既然允许一定的失真存在，对信息率的要求便可降低。可以引入一个失真函数，计算在失真度一定的情况下传输信息率的极小值。 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，传输消息所需的信息率也越小。所以信息率与失真有关。 为了定量地描述信息率和失真的关系，必须先规定失真的测度。 失真函数 失真函数 假设某一信源X输出一个随机变量 xi∈{a1, a2, …, an}，经信源编码后输出Y，yj∈{b1, b2,…, bm}。 xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真的大小可以用一个量来表示，即失真函数d(xi,yj)，用来衡量信源每发出一个符号xi ，而在接收端再现成符号yj所引起的失真程度。 失真函数 单符号失真函数定义为： 将所有的d(xi,yj)排列起来，用矩阵表示为 失真函数 例：假设信源变量X＝{a1, a2,…, an}，接收变量 Y＝{b1, b2,…, bn}。定义单符号失真度为 失真函数 例：删除信源。假设信源变量X＝{a1,a2,…,an}，接收变量Y＝{b1, b2,…,bm}，m=n+1。定义单符号失真度 失真函数 失真函数形式可以根据需要任意选取，最常用的有 失真函数 如果假定离散信源输出符号序列X=(X1X2…Xl …XL), 　Xl∈A={a1,…an}，其中L长符号序列xi=(xi1xi2…xiL)，经信源编码后输出符号序列Y=(Y1Y2…Yl…YL) ，Yl∈B={b1,…bm}，其中L长符号序列 yj = (yj1yj2…yjL)， 序列失真函数定义为 平均失真 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量。 将失真函数的数学期望或统计平均值称为平均失真。 平均失真 失真函数d (xi,yj) 描述了某个信源符号通过传输后失真的大小。对于不同的信源符号和不同的接收符号，其值是不同的。 平均失真 ： 对信源和信道进行的统计平均。 描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。 连续随机变量的平均失真 pxy(x,y)是连续随机变量的联合概率密度 d (x,y)是连续随机变量的失真函数 平均失真 L维信源符号序列的平均失真度 当信源与信道无记忆时， 信源符号平均失真度（平均每个符号的平均失真度） 信息率失真函数 无论是无噪信道还是有噪信道： 如果R(输出信息率)＜C(信道容量)，总能找到一种编码使在信道上能以任意小的错误概率、任意接近C的传输率来传送信息。 如果R＞C，就必须对信源压缩，使其压缩后的信息传输率R小于信道容量C，但同时要保证压缩所引入的失真不超过预先规定的限度。 因此，信息压缩问题就是对于给定的信源，在满足平均失真 的前提下，使信息率尽可能小。 信息率失真函数 保真度准则 平均失真度不大于允许的失真 当信源 p(xi)给定，单个符号失真度 d(xi,yj) 给定时，选择不同的试验信道（相当于不同的编码方法），所得的平均失真度也不同。 满足保真度准则的所有试验信道，即转移概率分布p(yj /xi)，构成了一个信道集合 D允许信道（D允许的试验信道），即满足保真度准则的试验信道 信息率失真函数 信息率失真函数R(D) 限定失真为D的条件下，信源输出的最小信息率。 在信源给定后，希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。 从信宿来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最小平均信息量。即在满足保真度准则条件下寻找平均互信息 I(X;Y)的最小值。 信息率失真函数 例：已知信源的概率分布为p(x)={0.5, 0.5}，信道转移矩阵如右，求互信息。 信息率失真函数 讨论 可见当 p(x)一定时，I (X;Y)随 p(yj /xi)而变。因为p(x)分布一定时，不同的试验信道所能传递的信息量是不同的。 当 p(x)一定时，I (X;Y)是关于p(yj /xi)的下凸函数。因此当改变 p (yj /xi)时， I (X;Y)有一极小值。 信息率失真函数 平均互信息 I(X;Y) 信源的概率分布 p(xi)的上凸函