第四章：信道与信道容量.pptVIP

本章节达到的目的 了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方法 掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系 能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道） 了解信道容量/容量代价函数在研究通信系统中的作用 概念问题 熵?熵率?无失真信源编码定理中的作用 互信息?信道容量?信道编码定理中的作用 回顾－互信息函数的性质1 互 信息与信道输入概率分布的关系 性质1 ：I(X; Y)是信道输入概率分布p(x)的上凸函数. 回顾－互信息函数的性质2 信息量与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数. 回顾－互信息函数的性质3 信息量与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的, 回顾－互信息函数的性质4 回顾－互信息函数的性质5 性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的 信道与信道容量 概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量 容量代价函数C(F) §4.1:概述 信息论对信道研究的内容 什么是信道？ 信道的作用 研究信道的目的 §5.1:概述－1 信息论对信道研究的内容： 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下充分利用信道容量的各种办法 §5.1:概述－2 什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 §5.1:概述－3 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 §5.1:概述－4 研究信道的目的 实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性 信息论研究－－信息的传输问题（假定传输特性已知） §4.2:信道的分类与描述 信道分类 信道描述 §4.2:信道分类与描述－1 信道分类 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户； §4.2:信道分类与描述－4 §4.2:信道分类与描述－5 §4.2:信道分类与描述－6 信道描述 信道可以引用三组变量来描述： 信道输入概率空间： 信道输出概率空间： 信道概率转移矩阵： P 即：{ P }， 它可简化为： 。 §4.2:信道分类与描述－7 其中： 而 而 §4.2:信道分类与描述－8 当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC： 且 , , §4.3:离散无记忆信道及其信道容量 §4.3:离散无记忆信道及其信道容量-1 离散消息序列信道 §4.3:离散无记忆信道及其信道容量-2 离散无记忆信道及其信道容量 由消息序列互信息 性质 对离散无记忆信道，有： （性质4） 则 §4.3:离散无记忆信道及其信道容量-3 离散无记忆信道及其信道容量的进一步理解 Cmax存在?互信息性质1，上凸函数极值存在 达到Cmax时的两个条件： 信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布 C的值不是由信源的p(x)决定的，而是由p 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时，才能充分利用信道传输信息的能力 §4.3:离散无记忆信道及其信道容量-4 离散无记忆信道容量的计算 思路：问题转化为：有界闭区域上求约束极值 方法：1、求区域内极值