《信息论与编码基础》第3章 离散信道及其信道容量.pptVIP

信息论与编码基础 第三章 离散信道及其信道容量 信息科学与技术学院 计算机科学系 蔡国扬 isscgy@mail.sysu.edu.cn 第三章 离散信道及其信道容量 信道容量：信道的任务是以信号方式传输信息和存储信息。信道容量是信道中能够传送或存储的最大信息量。 本章主要内容 信道的数学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配 3.1 信道的数学模型及分类 通信系统的一般模型 3.1 信道的数学模型及分类 1. 信道的分类 根据载荷消息的媒体 邮递信道 电信道 光信道 声信道 根据信息传输的方式 根据信道的用户情况： 两端(单用户)信道：只有一个输入端和一个输出端的单向通信信道。是多用户通信的基础。 多端(多用户)信道：在输入端和输出端中至少有一端有两个以上的用户，并且可以进行双向通信。 3.1 信道的数学模型及分类 根据信道输入端和输出端的关联： 无反馈信道：信道输出端无信号反馈到输入端，即输出端信号对输入端信号不产生任何影响。 反馈信道：信道输出端的信号反馈到输入端，对输入端信号产生影响。 根据信道的参数与时间的关系： 固定参数信道：信道的参数（统计特性）不随时间的变化而改变。 时变参数信道：信道的参数（统计特性）随时间的变化而改变。 3.1 信道的数学模型及分类 根据输入和输出信号的特点： 离散信道：输入和输出的随机序列的取值都是离散值。 连续信道：输入和输出的随机序列的取值都是连续值。 半离散或半连续信道：输入序列是离散型的但相应的输出序列是连续型的；或者相反。 波形信道：信道的输入和输出都是一些时间上连续的随机信号，也称之为模拟信道。波形信道可分解成离散、连续、半离散或半连续信道加以研究。 本部分的讨论只限于无反馈、固定参数的单用户离散信道。 3.1 信道的数学模型及分类 2. 离散信道的数学模型 离散信道的一般数学模型如图所示。 3.1 信道的数学模型及分类 根据信道的统计特性即条件概率 P(y/x) 的不同，离散信道又可分成三种情况： 无干扰（无噪）信道 有干扰无记忆信道 有干扰有记忆信道 3.1 信道的数学模型及分类 (1)无干扰(无噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的一一对应的关系。即：y ＝ f (x) 3.1 信道的数学模型及分类 (2)有干扰无记忆信道 输出符号与输入符号之间没有确定的对应关系，信道输入和输出之间的条件概率是一般的概率分布。 如果信道任一时刻的输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则称这种信道为无记忆信道。满足无记忆信道定义的充要条件是式 3.1 信道的数学模型及分类 (3)有干扰有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的更一般的类型。 例：在数字信道中，信道滤波使频率特性不理想时造成了码字之间的干扰。在这类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 对有记忆信道的处理，可以将记忆较强的N个符号当作一个矢量符号来处理，而各矢量符号之间近似为无记忆的，从而转化为无记忆信道的问题。或者将 P(y/x) 视为马尔可夫链，从而转化为有限记忆信道的问题。 本部分将着重讨论离散无记忆信道。 3.1 信道的数学模型及分类 3. 单符号离散信道的数学模型 (1) 单符号离散信道 单符号离散信道的输入符号为X，取值于{a1, a2, …, ar}，输出符号为Y，取值于{b1, b2, …, bs}，且有一组条件概率 P(y/x) = P(y=bj/x=ai) = P(bj/ai)，(i=1,2,…,r，j=1,2,…,s )，称为信道的传递概率或转移概率。 假如信道中有干扰存在。当信道输入为 x=ai 时，无法事先确定输出。但信道的输出只能是 b1, b2, …, bs 中的一个，即有 3.1 信道的数学模型及分类 一般简单的单符号离散信道的数学模型可以用概率空间 [X, P(y/x), Y] 加以描述。也可以图解为： 3.1 信道的数学模型及分类 例：二元对称信道 (BSC, Binary Symmetrical Channel)是很重要的一种特殊信道，其输入符号X取值于{0, 1}，输出符号Y取值于{0, 1}。即 r=s=2，a1= b1=0，a2= b2=1。又有传递概率： 3.1 信道的数学模型及分类 易见p是单个符号传输发生错误的概率，(1?p) 表示无错误传输的概率，且： 3.1 信道的数学模型及分类 例：二元删除信道 (BEC, Binary Eliminated C