[工学]2009_应用信息论基础_张林_Chap_3_442009020.pdf

第三章第三章信道及其容量信道及其容量 Channels and Channel Capacity 2009年11月9 日 年1111月月1616 日日 © THU 2009 – All rights reserved 清华大学电子系－张林 本章课程脉络本章课程脉络 © THU 2009 – All rights reserved 2 3.1 信道容量的定义和性质信道容量的定义和性质 通信是什么？ 物理实体A 的作用引发了物理实体B的状态变化 若A与B的状态变化存在一致性，称A与B通信成功 从信息角度看通信的本质 比特流的端到端无差错复制比特流的端到端无差错复制 香农抽象的信道模型 © THU 2009 – All rights reserved 3 信道的分类信道的分类 类似信源分类方法： 按照输入输出的形式和时间取值来划分按照输入输出的形式和时间取值来划分 取值取值 时间时间 信道分类信道分类 离散离散 离散离散 离散信道 （Discrete Channel ）、数字信道 （Digital ChChannell ）） 连续 离散 连续信道 （Continuous Channel ） 连续 连续 模拟信道 （Analog Channel ） 离散离散 连续连续 © THU 2009 – All rights reserved 4 信道的统计表示信道的统计表示 按照信道随机过程的特点分类 信道可以表示为n-阶转移概率矩阵 Qt t t {{q(yt t t xt t t )}} 1 2 n 1 2 n 1 2 n 无记忆信道： n q((y y ...y x x ...x )) ∏∏q((y x )) 1 2 n 1 2 n i i i 1 一般认为信道是平稳的： q(y |x )=q(y|x) i i © THU 2009 – All rights reserved 5 离散无记忆信道的定义离散无记忆信道的定义 定义3.1：称具有输入字母表X 和输出字母表 Y， 以及转移概率矩阵Q={q(y |x)} 的系统为 离散无记忆信道。其中，q(y |x)表示系统 输入为x 时观察到输出为y 的条件概率。 关于信道的注释关于信道的注释 信道转移概率矩阵Q为|X |行、|Y |列的矩阵 称称一个信道时个信道时无记忆的无记忆的，，若某若某一时刻的输出仅和当时的时刻的输出仅和当时的 Bb输入有关，而与过去的输入和输出无关。 © THU 2009 – All rights reserved 6 离散无记忆信道的输入和输出离散无记忆信道的输入和输出 定理3