[2018年最新整理]信息论与编码--------第24讲-总复习.pptVIP

* * 求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 第三章 信道容量 * * 当 n=2 时的强对称离散信道就是二进制均匀信道。 二进制均匀信道 的信道容量为： 二进制均匀信道容量 曲线如图3.2.5所示。 第三章 信道容量 * * 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 第三章 信道容量 * * 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 第三章 信道容量 * * 失真度 设离散无记忆信源为 第四章 信息率失真函数 * * 对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m 称 d(xi,yj) 为单个符号的失真度/失真函数。表示信源发出一个符号 xi，在接收端再现 yj 所引起的误差或失真。 第四章 信息率失真函数 * * 平均失真度定义 d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望， 第四章 信息率失真函数 * * 平均失真度意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)，p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。 第四章 信息率失真函数 * * 允许平均失真度：率失真函数中的自变量 D，也就是人们规定的平均失真度 的上限值。 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度 D 的最小和最大值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选定的失真函数 d(xi , yj)，在平均失真度 的可能取值范围内。 第四章 信息率失真函数 * * 常用的失真函数 第一种 当a=1时称为汉明失真矩阵。 第二种/平方误差失真矩阵：d(xi,yj)=(yj－xi)2 第四章 信息率失真函数 * * 单符号信源和单符号信道的信息率失真函数 在信源和失真度给定以后，PD 是满足保真度准则 的试验信道集合，平均互信息 I(X;Y) 是信道传递概率 p(yj /xi) 的下凸函数，所以在 PD 中一定可以找到某个试验信道，使 I(X;Y)达到最小，即 这个最小值 R(D) 称为信息率失真函数，简称率失真函数。 在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。 第四章 信息率失真函数 * * 求信息率失真函数的方法 信息率失真函数 R(D) 是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其 R(D)是不同的。 第四章 信息率失真函数 * * 对偶问题：信道容量和