第五章信道与信道容量z精要.ppt

§5.3:离散无记忆信道及其信道容量-34 §5.3:离散无记忆信道及其信道容量-35 0.5 1.0 0 0.5 1.0 c ε b a Ca= Cb= a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线 1-ε 1-ε ε ε 1-ε 1-ε ε ε 例1、已知信道转移概率矩阵如下，求此信道的信道容量。 Y\X 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 解：由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有： §5.3:离散无记忆信道及其信道容量-36 香农第一定理（变长无失真信源编码定理）的物理意义 从信道编码的角度看，用 个码元表示一个原始信源符号，信道的信息传输率为： §5.3:离散无记忆信道及其信道容量-37 香农第一定理（无失真信源编码定理）的物理意义 无噪无损信道的信道容量：C=H(X)=H(Y)=logs 再看当平均码长达到极限值时R=logs 此时信道的信息传输率R＝无噪信道的信道容量C 无失真信源编码的实质： 对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。 又称：无噪信道编码定理 若信道的信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息；但要使信道的信息传输率R大于C而无差错地传输信息则是不可能的。 §5.3:离散无记忆信道及其信道容量-38 达到信道容量C的时候，输入字母分布唯一吗？ 反例： a1 a2 b1 b2 令 则 输入任何分布， 输出都达到C 又一例： 令输入分布(0.5,0,0.5,0） 令输入分布(0.25,0.25,0.25,0.25） §5.3:离散无记忆信道及其信道容量-39 输出字母的唯一性 ?? 定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。 证明见朱雪龙2001版信息论p132页。 例如：对称信道，达到信道容量时输出唯一（等概） §5.3:离散无记忆信道及其信道容量-40 输入字母在什么条件下唯一？ ?? 定理：在达到信道容量时，如果输入概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。 定理不是说具有最大数目零概率的最佳分布是唯一的。 定理只说明概率分布由同一组包含零的数字的不同排列构成。 证明见朱雪龙2001版信息论p134页。 §5.4:并联信道及其信道容量 信道1 信道2 信道N ….. 输入并接信道 信道1 信道2 信道N ….. 和信道 信道1 信道2 信道N ….. 并用信道 §5.4:并联信道及其信道容量 输入并接信道可以看成一个单输入多输出的 输出为 信道,其输入为 性质：输入并联信道的容量大于任何一个单独的信道，小于max H(X)。 §5.4:并联信道及其信道容量 思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的输入并联信道 §5.4:并联信道及其信道容量 并用信道是多输入，多输出。X和Y由彼此独立的N个信道传输。 性质并用信道的容量 通信中的复用，就是典型的并用信道 §5.4:并联信道及其信道容量 现代通信技术：MIMO和CMIMO(Cooperative MIMO ) SISO 单入单出 “真正的自利行为就是协作” ——《无线网络的协作》,Frank Tx Rx SISO Tx Rx MIMO Tx1 TxN Rx1 RxN CMIMO MIMO多入多出 CMIMO 节点通过协同形成MIMO §5.4:并联信道及其信道容量 和信道随机应用N 个信道中的一个，构成一输入/一输出信道。 性质：和信道的容量是， Vision 一种新型的通信技术——机会通信（Opportunistic Comm.） 信道的使用概率 §5.4:并联信道及其信道容量 机会通信（David Tse, 2001） 衰落是无线信道的固有特征