信息论第五章离散信道的容量汇编.ppt

5.2.3几类特殊信道的C 5.2.3几类特殊信道的C 一、 离散无噪声信道 (n = m) 1.具有一一对应关系的无噪信道 ——一对一，无噪无损信道 信道矩阵——单位阵：元素为0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) = 0 互信息 I(X;Y) = H(X) = H(Y) 5.2.3几类特殊信道的C 一、 离散无噪声信道 (n m) 2. 具有扩展性的无噪信道 ——一对多，有噪无损信道 信道矩阵——每列只有一个非0元 元素不全是0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) ≠ 0 H(X) ＜ H(Y) 5.2.3几类特殊信道的C 一、 离散无噪声信道 (n m) 3.具有归并性的无噪信道 ——多对一，无噪有损信道 信道矩阵——每行只有一个 非0元 元素为0、1 损失熵 H(X/Y) ≠ 0 噪声熵 H(Y/X) = 0 H(X) ＞ H(Y) 输入的概率分布并非唯一 5.2.3几种特殊信道的C 二、强对称离散信道---均匀信道 1. 信道特点 信道输入、输出均为n元 每符号正确传输概率均为 其他符号错误传输概率为p/(n-1) 2.矩阵特点 (1) n×n阶对称阵 (2) 二值矩阵 (3) 每行和为1,每列和为1 * * 第5章 离散信道的信道容量 第5章? 离散信道的信道容量 内容提要 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。 5.1 信道容量的定义 信息传输率是衡量通信质量的一个重要指标，定理2.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。 （比特/码符号） （5-2） 使I（X; Y）达到信道容量的分布q (x)为最佳分布。 5.2 离散无记忆信道容量的计算 定理5.1 如果信道是离散无记忆（DMC）的，则CN ? NC，其中C是同一信道传输单符号时的信道容量。 下面一条定理给出了一维信道和N维信道的信道容量之间的关系。 （1） 输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： （2）对每个i,输入分布q (xi) 可使I (Xi; Yj) 达到信道容量C，则： CN ? NC (5-5) 证明： 综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN = NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。 5.2.1 达到信道容量的充要条件 定理5.2 使平均互信息量I（X; Y）达到信道容量C的充要条件是信道输入概率分布 简记为q (X) = {q (x1), q (x2), …, q (xM)}满足： (5-6) 【例5.2】 无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X ={x1, x2, x3}，输出符号集Y ={y1, y2, y3, y4, y5,y6}，其信道转移概率矩阵记为 ，计算该信道的信道容量。 图5-2 无损信道 x1 x2 x3 y1 y2 y3 y5 y6 2/6 1/6 3/6 1/2 1/2 1 y4 2. 根据定义计算信道容量C 由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有 先考察平均互信息量 I（X; Y）= H（X）-H（X︱Y）， 在无噪信道条件下，H（X︱Y）= 0，则平均互信息量I（X; Y）= H（X） 3