信息论第3章离散信道及其信道容量.pptVIP

第3章 离散信道及其信道容量 赵 越 2012.10. 信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。 根据信道的用户多少： （1）两端(单用户)信道---只有一个输入端和一个输出端的单向通信的信道； （2）多端(多用户)信道---输入端和输出端中至少有两个以上的用户，并且可以双向通信的信道。 根据输入和输出信号的特点： （1）离散信道---输入输出的随机序列的取值都是离散的信道； （2）连续信道---输入输出的随机序列的取值都是连续的信道； （3）半离散或半连续信道---输入序列是离散型的，但相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随机信号。（又称模拟信道） 条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型，这是更一般的情况。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 3.1.3 单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。也可用下图来描述： 例3.1 二元对称信道，[BSC，Binary Symmetrical Channel] 一很重要的特殊信道，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。传递概率: 例3.2 二元删除信道。[BEC，Binary Eliminated Channel] 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 一般离散单符号信道的传递概率可用矩阵形式表示，即 3.2 平均互信息及平均条件互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。 3.2.1 信道疑义度 信道输入信源X的熵 3.3 平均互信息的特性 平均互信息 I(X;Y) 具有以下特性： （1）非负性 即 I(X;Y) = 0 当X、Y统计独立时等式成立。 （2）极值性 即 I(X;Y) = H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C 综上所述： 损失熵等于零的信道称为无损信道； 噪声熵等于零的信道称为无噪信道； 一一对应的的无噪信道则为无噪无损信道。 求这三类信道的信道容量C的问题，已经从求平均互信息I(X;Y)的极限问题退化为求信息熵H(X)或H(Y)的极值问题。 3.9 信源与信道的匹配 在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。我们总希望能使信息传输率越大越好，能达到或尽可能接近于信道容量，由前面的分析可知，信息传输率接近于信道容量只有在信源取最佳分布时才能实现。 由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。 3.4.4 一般离散信道的信道容量 若 即可结束，前面计算的C即为信道容量，否则要重新计算。 3.6 离散无记忆扩展信道及其信道容量 离散无记忆信道 ( DMC，Discrete Memoryless Channel) ，其传递概率满足： 仍可用 [X，P( y / x )，Y] 概率空间来描述。 不同的只是当信道传输消息序列时，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。 设离散无记忆信道的 输入符号集A＝{a1，… ， ar}， 输出符号集B＝{b1 ，… ， bs}， 信道矩阵为: 则此无记忆信道的N次扩展信道的数学模型如图所示: 而信道矩阵： 其中： 例3.12