15九.1信息传输与信道容量.pptVIP

第三部分 信息论 第三部分 信息论 信息论的三个基本内容： 信息的度量；信息的信道容量；为利用信道容量传输信息所需要的编码。 相应的基本结论为： 如果一个信息源所发出的信息速率不超过信道容量，则尽管有噪声存在，我们总可以找到一种编码方法，使全部信息以任意小的差错频度传过信道。 编码过程有两类：信源编码和信道编码。 信源编码——降低信息速率； 信道编码——等效无噪信道。 第十章 信息传输与信道容量 10.1 离散信道的信息传输 1.互信息与条件熵 设有两个符号组： 已知联合概率和条件概率： 定义互信息： 则平均互信息为： 第十四章 信息传输与信道容量 即 定义条件熵 则有 第十四章 信息传输与信道容量 容易证明： 1） 2） 证明：2）因为 ，所以 因此 即 第十四章 信息传输与信道容量 在信号传输中，需要传输的信号为 接收到的信号为 通信中的最主要的问题就是利用接收到的信号来判断传输的信号是什么。 信息熵 表明传输信号所具有的平均信息量； 条件熵 表明X相对于Y的平均信息量(或丢失的信息) ； 因此互信息量 表明每个接受到的符号所获得的平均信息量. 第十四章 信息传输与信道容量 信息熵 表明接收信号所具有的平均信息量； 条件熵 表明Y相对于X的平均信息量(或噪声带