信息论与编码信道及其容量.pptVIP

根据信道容量的定义，最终可得 对于多维无记忆加性连续信道，有以下结论： (注意n的下标为l，而非数字1)，则有信道容量 　当且仅当输入矢量X各分量统计独立，且各分量都服从 时，信息传输率达到最大。 a)在噪声平均功率过大，甚至超过输出平均功率时，可以不给予功率，即不发送信号; 　b)在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率; 　c)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。 3.7.3 限时限频限功率的加性高斯白噪声信道 波形信道的平均互信息量 信息传输率Rt 信道容量 高斯白噪声信道容量 若信号的平均功率Pl受限于Ps，则Pl每个信号样本值的平均功率为 。 可得 信道每秒传输2W个样点，所以单位时间的信道容量为： 香农公式 香农公式的物理意义： 当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。 香农公式说明 3.8 信源与信道的匹配 绝对信道冗余度（剩余度）表示信道的实际传信率和信道容量之差，所以有 信道效率 信道相对冗余度 显然，对于无干扰信道：I(X;Y)=H(X) (r是信道输入符号的个数) 则 Rs为信源冗余度 在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配？ 这种匹配有两个方面的内容： (1) 符号匹配 (2) 信息匹配 请问缩小信源的冗余度就可以完全解决信源对信道的匹配了吗？ 信道冗余度和信源冗余度是什么关系？给定信道的情况下，将信源信道当作一个整体，信道信息的最大信息传输率怎样才能达到最大？ 回顾3.5节关于离散无记忆N次扩展信道的信道容量的知识，对于提高信息传输率有什么结论？ 3.9 信道编码定理简介 有噪信道编码定理(香农第二定理)： 定理3-3 若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息传输率R≤C时，总可以找到一种编码，当L足够长时，译码错误概率趋向于无穷小，反之，当RC时，任何编码都不可能让译码错误率趋向于任意小。 我们致力于使得本书上达思想与方法，下及实现与应用，但是力所不及，欢迎多提宝贵意见至hellowyin@126.com/book/Showbook.asp?CPBH=044338-01DJ=36 学习得来终觉浅，绝知此事要自悟 * 3.4.4* 具有可逆矩阵信道 这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有相同数量的元素。即n＝m，P为方阵，且为正则方阵。 具有可逆矩阵信道的信道容量为 3.4.5* 一般DMC信道 为使I (X;Y)最大化以便求取DMC容量，输入概率集{p(xi)}必须满足的充分和必要条件是： I (xi;Y)＝C，对于所有满足p(xi)＞0条件的i； I (xi;Y)≤C，对于所有满足p(xi)＝0条件的i。 　 当信道平均互信息达到信道容量时，输入符号概率集{p(xi)}中每一个符号xi对输出端Y提供相同的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出具体值。因此还需要采用计算机迭代的方法求解，一般情况下，最佳输入概率分布不一定是唯一的。 3.5 离散无记忆序列信道的信道容量 定义：多符号离散信源矢量 =X1X2…XL在L个不同时刻分别通过单符号离散信道{X， P(Y|X)，Y}，则在输出端出现相应的随机序列 =Y1Y2…YL，这样形成一个新的信道称为离散序列信道{ }。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道{X P(Y|X) Y}的L次扩展。 假设信道输入序列为 ，输出序列 ，由于无记忆，可得相应转移条件概率为 离散无记忆序列信道的数学模型如下： 无记忆离散序列信道的输入矢量X的可能取值有个，而输出矢量Y的可能取值有个。其信道转移矩阵为： 对于离散序列信道，可以证明： 1、当信道无记忆的时候有 　上式在信源无记忆时等号成立。 理解：如果信源有记忆，信道传递的信息必然存在冗余度，这使得整体传递的信息量减少。 要极大传输信息，以上结论对于我们有什么启示？在编码中有什么应用？ 2、当输入矢量的各个分量独立（信道不