信息论基础课件3.1-3.2.2.pptVIP

* 第三章 信道容量 信宿 信道 信源 图3.1.1 通信系统的简化模型 噪声 信源→ 每发一个符号提供平均信息量H(X) bit/信符 无噪信道→信宿可确切无误的接收信息 传递作用→ 随机干扰作用 本章主要讨论在什么条件下，通过信道的信息量最大，即信道容量问题 3.1 信道的数学模型和分类 X Y a1 a2 ar b1 b2 bs P (Y/X) 图3.1.2 一般信道的数学模型 信号在信道中传输，不可避免地会引入噪声或干扰。从而 使信号通过信道后产生错误和失真。所以信道的输入和输 出不是确定的函数关系，而是统计依赖关系。所以，只要 知道了信道的输入信号、输出信号，以及它们之间的依赖 关系，就可以确定信道的全部特性。 根据输入输出随机信号的特点,可将信道分成离散信道、连续信道、半离散或半连续信道。 根据信道输入、输出随机变量个数的多少，信道又可分为单符号信道和多符号信道。 根据输入输出的个数，信道又可分为单用户信道和多用户信道。 根据信道上有无干扰，还可分为有干扰信道和无干扰信道。 根据信道有无记忆特性，信道还可分为有记忆信道和无记忆信道。 一个实际信道可同时具有多种属性，最简单的信道是单符号离散信道 输出仅与信道当前输入有关，而与过去输入无关的信道称为无 记忆信道。信道输出不仅与当前输入有关，还与过去输入和过 去输出有关的信道称为有记忆信道。 3.2 单符号离散信道的信道容量 X Y a1 a2 ar b1 b2 bs P (Y/X) 图3.2.1 一般信道的数学模型 3.2.1 信道容量的定义 信道的输入和输出都取值于离散集合，且都用一个随机变量来表示的信道就是单符号离散信道。 信道统计特性由条件概率p(bj/ai) （i=1,2,…,r；j=1,2,…,s) 描述，有时我们称它为信道转移概率或信道传递概率。 {X:{a1,a2,…,ar} P(Y/X):{p(bj/ai)} Y:{b1,b2,…,bs} (i=1,2,…,r；j=1,2,…,s) 特点： （1）0≤ p(bj/ai) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2） 为直观起见，常用信道转移概率矩阵（信道矩阵）， 来表示信道特性。若行表示输入X，列表示输出Y, 则信道矩阵为： 输入输出对应关系： [P] → 信道矩阵 =1 图3.2.2 传递图 上式是已知输入X的情况下，信道输出Y表现出来 的统计特性。它描述的是信道输入和输出之间的相 互依赖关系。反过来，已知输出Y,考察输入X的统 计变化规律，即用p(xi/yj)也可以描述信道两端的相 互依赖关系。p(xi/yj)称为反信道转移概率，它所构 造的矩阵称为反信道矩阵。 如果信源熵为H(X),我们希望在信道的输出端接受的信息量就是H(X)。但由于干扰的存在，一般情况下在输出端只能接收到　　　．它是平均意义上每传送一个符号流经信道的平均信息量．从这个意义上讲，我们也可以把　　　理解为信道的信息传输率（或信息率）．即 (比特/信道符号） 由平均互信息的性质可知， 这意味着输出端Ｙ往往只能获得关于输入Ｘ的部分信息 信道容量： (比特/信道符号) (比特/秒) 信道在单位时间内能够传输的最大信息量： Ct 实际是信道的最大信息传输速率。 ３.２.２ 几种特殊离散信道的信道容量 1. 具有一一对应关系的无噪信道(n=m) 一.　离散无噪信道的信道容量(广义的无噪） 每列只有一个非零元素，Ｘ和Ｙ有确定的对应关系，已知Ｘ后Ｙ没有不确定性，反之，收到Ｙ后，Ｘ也不存在不确定性．所以噪声熵　　　　　，信道疑义度 　　　　　，故有 根据信道容量的定义，有 上式表明当信源呈等概率分布时，具有一一对应的确定 关系的无噪信道达到信道容量，其值就是信源Ｘ的最大 熵值．同时还说明，信道容量只决定于信道的输入符号 ｎ，与信源无关，是表征信道特性的一个参量． 2. 具有扩展性能的无噪信道(nm) a1 b1 b2 b3 p11 p12 p13 a2 b4 b5 b6 p24 p25 p26 其信道矩阵为， 每列只有一个非零元素，也就是说，已知Y后,X不 再有任何不确定度： 信道输入符 号集符号数 * * *