离散信道及其容量精要.ppt

两种极端情况的信道 两种极端情况的信道 例3.3 设信源X的概率空间为： 信道特征如下图，计算平均互信息 解 3.9 信源与信道的匹配 在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。我们总希望能使信息传输率越大越好，能达到或尽可能接近于信道容量，由前面的分析可知，信息传输率接近于信道容量只有在信源取最佳分布时才能实现。 由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。 所以： 例3.10 输入符号集为:{a1,a2,a3,a4,a5}，输出符号集：{b1,b2} 假设P(a1)=P(a5)=1/2， P(a2)=P(a3)= P(a4)=0，则： 信道矩阵 所以： 假设P(a1)= P(a2)= P(a4)= P(a5)=1/4 P(a3)= 0 根据公式3.94 P(a1)= P(a2)= P(a4)= P(a5)=1/4； P(a3)= 0也是最佳分布 解法 二 对于一般信道的求解方法，就是求解方程组 移项得： 令 则: 若r=s，此方程有解，可以解出s个未知数 ，再根据 得 从而 i=1,2,…r 例3.11 可列方程组： 解之得： 3.6 离散无记忆扩展信道及其信道容量 离散无记忆信道 ( DMC，Discrete Memoryless Channel) ，其传递概率满足： 仍用 [X，P( y / x )，Y] 概率空间来描述。 不同的只是当信道传输消息序列时，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。 设离散无记忆信道的 输入符号集A＝{a1，… ， ar}， 输出符号集B＝{b1 ，… ， bs}， 信道矩阵为: 则此无记忆信道的N次扩展信道的数学模型如图所示: 而信道矩阵： 其中： 例3.12 求二元无记忆对称信道（BSC）的二次扩展信道。 解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A＝{00，01，10，11}，共有22＝4个符号，输出符号集为B＝ {00，01，10，11}。 由于是无记忆信道，可求得二次扩展信道的传递概率： 信道矩阵： 根据平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息： N次扩展信道的信道容量 定理3.5 若信道输入序列为X=(X1X2…XN)，通过信道传输，接收到的序列为Y=(Y1Y2…YN)。 (1)若信道是无记忆的，即信道传递概率满足 则有： 式中Xi，Yi是对应第i位的随机变量。 (2)若信源是无记忆的，即满足 则有： (3)若信源信道都无记忆则 证明：(1)信道输入和输出序列为X和Y，其取值 当信源是无记忆的 (2)据平均互信息的定义得X和Y的平均互信息为 1 无损无噪信道 无损无噪信道容量 2 无损(有噪)信道 信道矩阵 特点：一个输入符号互不交叉的对应多个输出符号。其传递矩阵中每列元素有且仅有一个不为零。 2 无损(有噪)信道 损失熵H(X/Y)=0 但噪声熵H(Y/X)≠0 所以：I(X;Y)=H(X)H(Y) 【例】 无损信道 如图所示，信道输入符号集X ={x1, x2, x3}，输出符号集Y ={y1, y2, y3, y4, y5}，其信道转移概率矩阵记为 ，计算该信道的信道容量。 图 无损信道 x1 x2 x3 y1 y2 y3 y5 y6 2/6 1/6 3/6 1/2 1/2 1 y4 2. 根据定义计算信道容量C 由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有 1. 平均互信息量I（X; Y）= H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）= 0，则平均互信息量 I（X; Y）= H（X） 3 无噪有损信道(确定信道) 特点：输入和输出是多对一的对应关系，但一个输入只对应一个输出。 信道矩阵 3 无噪有损信道(确定信道) H(Y|X)=0，H(X|Y)0 所以：I(X;Y)=H(Y)H(X) * 离散无噪信道的信道容量 结 论 无损信道的C决定于信道的输入符号数r 无噪信道的C只决定于信道的输出符号数s 3.4.2 对称离散信道的信道容量 对称离散信道定义：离散无记忆信道中，若信道传递矩阵P中每一行都是由同一集合{p1,p2,…,ps}中的诸元素不同排列组成，每一列也都是由{q1,q2,…,qr}中的诸元素不同排列组成。 例如： 正例 反例 证明: 离散对称信道的信道容量 若一离散对称信