信息论基础理论与应用第三版(傅祖芸)第三章.pptxVIP

第三章离散信道及其信道容量第一节信道的数学模型及分类第二节平均互信息第三节平均互信息的特性第四节信道容量及其计算方法第五节离散无记忆扩展信道及其信道容量第六节信源与信道的匹配

信道的任务：以信号方式传输信息和存储信息。01研究内容：信道中能够传送或存储的最大信息量，即信道容量。02

数字通信系统的一般模型3.1信道的数学模型和分类

一、信道的分类根据载荷消息的媒体不同邮递信道电、磁信道光信道声信道根据信道用户的多少单用户（两端）信道一个输入端和一个输出端的单向通信；多用户信道至少有一端有两个以上的用户，可以是双向通信；（计算机通信、卫星通信、广播通信等）

信道参数与时间的关系根据输入端和输出端的关联固定参数信道时变参数信道无反馈信道有反馈信道

我们只研究：#2022

信道分析的方法#2022

二、离散信道的数学模型条件概率P(y|x)描述了输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。根据信道的统计特性的不同，离散信道又可分成3种情况：无干扰信道2.有干扰无记忆信道3.有干扰有记忆信道

无干扰(无噪声)信道信道中没有随机性的干扰或者干扰很小，输出符号y与输入符号x之间有确定的、一一对应的关系。即：y＝f(x)

有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。

有干扰(噪声)有记忆信道实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。

三、单符号离散信道单符号离散信道特性：输入符号为X，取值于{a1,a2,…,ar}输出符号为Y，取值于{b1,b2,…,bs}条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)这一组条件概率称为信道的传递概率或转移概率。信道中有干扰(噪声)存在，可以用传递概率P(bj|ai)来描述干扰影响的大小。

一般简单的单符号离散信道可用X,P(y|x),Y三者加以表述，其数学模型可以用如下概率空间 [X,P(y|x),Y]也可用图形来描述：a1b1a2b2X ..Y..arbsP(bj/ai)单符号离散信道

矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。矩阵P中元素有些是信道干扰引起的错误概率，有些是信道正确传输的概率。单击此处添加大标题内容信道矩阵（转移矩阵）模型一般离散单符号信道的传递概率可用矩阵形式表示，即b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)

[例]二元对称信道，[BSC，BinarySymmetricalChannel]解：此时，X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。传递概率:p是单个符号传输发生错误的概率。（1-p）表示是无错误