信息论基础离散无记忆信道信道容量课堂.pptVIP

第 4 章 数据可靠传输和信道编码 2 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源 - 信道编码定理 4.6 线性分组码 习题四 3 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源 - 信道编码定理 4.6 线性分组码 习题四 4 离散无记忆信道和信道容量 为确定信道传输的限度，就要考虑信道传递信息的基本 单元 — 信号 . 信号无论采用光、声、电还是其他形式都是一 种物理过程 . 每个信号都需要一定的时间 . 在烽火台上点燃烽火也许要花好几分钟，现代极高频无 线电通信传递信号所需要的时间还不到亿分之一秒 . 尽管如 此，总要有一定的时间间隔才能把信号与信号分离开来 . 超 过时间间隔的一定限度，信号就会无法分辨 ： 典型的例子就是一个人说话过分快，听的人根本听不懂 他在说什么 . 因此，要使一个信道能够起到传递信息的功能， 每分钟传递的信号数目就要有一定的限度 . 5 离散无记忆信道和信道容量 这 — 点是比较容易理解的 . 再比如，我们规定公共汽车 必须一辆接一辆地开来，每辆汽车必须在车站停一分钟，以 便乘客上下 . 那么不管增加多少车辆，也不会越过每分钟一 辆的速率 . 既然如此，要想提高运输量，途径就是增加每辆汽车的 装载量 . 那么能否提高每个信号所携带的信息量呢？ 信息量的定义告诉我们，一个事件发小的概率越小，告 诉我们这件事是否发生的信号带来的信息量越大 . 进而增大 每个信号信息量的办法是增加不同信号的数目 . 6 离散无记忆信道和信道容量 但是，对于任何给定的信道来讲，可以分辨的信号数目 ( 这和前面所讲的以时间间隔分辨信号是不同的概念 ) 是有限的 . 例如对于电报来讲，不同的信号只有点和划；对于电话 来讲，可以分辨的音素也是有限的 . 即使在没有噪声干扰的 情况下 ( 每辆公共汽车可以载满乘客，不必担心中途会发少 什么意外 ) ，信道在单位时间内只能准确地传递有限的信号， 而每个信号所携带的信息量又是有限的，因此信道在单位时 间内传递的信息量也是有限的 . 该限度就称为 信道容量 — 信道容量限制了通信系统的能力！ 7 离散无记忆信道 提高传输的可靠性！ 8 信道的分类： 根据信道用户的多少 ，可分为： （ 1 ）单用户信道：只有一个输入端和一个输出端 （ 2 ）多用户信道 （ 广播、电视、卫星、计算机网） 至少有一端有两个以上的用户，双向通信 离散无记忆信道 9 根据符号的概率分布 ， 可分为 （ 1 ）有记忆信道 （ 2 ）无记忆信道 （任一时刻输出符号只统计依赖于对应时刻输入符号的 信道） 离散无记忆信道 10 根据输入输出信号的特点， 可分为 （ 1 ）离散信道 ? 输入集和输出集都是离散集 : 电报信道和数据信道 （ 2 ）连续信道 ? 电视和电话信道 （ 3 ）半离散半连续信道 ? 输入集和输出集中一个是连续 集、另一个是离散集 : 连续信道加上数字调制器或数字解调器 （ 4 ）波形信道 以下我们只研究单用户离散无记忆信道 。 离散无记忆信道 数字信道 以数字 脉冲形式（离散 信号）传输数据 11 满足离散无记忆信道的充要条件是 其中，输入符号集 X ={ x 1 , x 2 , … , x N } 输出符号集 Y ={ y 1 , y 2 , … , y N } 1 2 1 2 1 ( | ) ( | ) (| ) N N N i i i P y x P y y yx x x P y x ? ? ? ? ? ? ? ? ? ? 离散无记忆信道 12 信道转移概率分布的矩阵形式： 离散无记忆信道 信道转移概率 13 信道转移概率分布的图示： 离散无记忆信道 14 信道的任务是以信号方式传输信息和存储信 息；因此，研究信道就是研究信道中能够传送或 存储的最大信息量，即信息无差错传输的最大速 率 ，就是信道容量问题 . 因此，首先要考虑信道中平均每个符号能传 输的信息量 —— 平均互信息 . 区分：带宽与信道容量 信道容量 15 带宽 : 信道可以不失真地传输信号的频率范围。为不同应用而设计的 传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽”表 示 信道的数据传输速率 . 信道容量 : 信道在单位时间内可以传输的最大信号量，表示信道的传 输能力。信道容量有时也表示为单位时间内可传输的二进制位的位 数（称信道的数据传输速率，位速率），以位 / 秒（ b/s ）形式予以表 示，简记为 bps 。 信道容量和信道带宽具有正比的关系：带宽