信道与信道容量1解读.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第3章信道与信道容量 信道分类和数学模型 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 3.1信道分类和数学模型 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点： 离散（输入、输出在时间和幅度都离散） 连续（输入、输出在时间离散，幅度连续） 半离散半连续（输入、输出一个连续，一个离散） 波形信道（输入、输出在时间和幅度都连续） 3.1信道分类和表示参数 离散信道模型 由信道输入和输出的符号个数，进一步对信道模型进行划分 二进制对称信道（BSC） 离散无记忆信道 输出符号bj的概率 离散输入、连续输出信道 3.2离散单个符号信道及其容量 信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 信息传输速率 若已知平均传输一个符号需时间t（s），则单位时间内平均传输的信息量 Rt=I(X;Y)/t 比特/秒 单位时间内平均传输的最大信息量为 简单离散信道的信道容量 H(XlY)= H(YlX)=0 无噪无损信道 C＝maxI(X;Y)＝maxH(X)=log r 对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 对称DMC信道例子 Eg. 求信道容量 Eg. 求信道容量 二进制对称信道容量（n=2） C＝1－H（?） 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外 例：设某离散信道，输入符号集为{a1,a2,a3},输出符号集为{b1,b2,b3},信道转移矩阵为 求该信道的信道容量及最佳输入分布 3.3离散无记忆序列信道及其容量 离散无记忆序列信道 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 扩展信道 离散序列信道的平均互信息 离散无记忆序列信道的信道容量 序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) 3.5 连续信道及其容量 单维高斯加性信道 3.5 连续信道及其容量 单维非高斯加性信道 3.5 连续信道及其容量 多维无记忆高斯加性连续信道 3.5 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 3.5 连续信道及其容量 讨论 3.5 连续信道及其容量 讨论 3.5 连续信道及其容量 eg有一并联高斯加性信道，各子信道噪声方差为 ＝0.1， ＝0.2， ＝0.3， ＝0.4， ＝0.5， ＝0.6， ＝0.7， ＝0.8， ＝0.9， ＝1.0 3.5 连续信道及其容量 限时限频限功率加性高斯白噪声信道 3. 5 连续信道及其容量 限时限频限功率加性高斯白噪声信道 3.5 连续信道及其容量 限时限频限功率加性高斯白噪声信道 3.5 连续信道及其容量 讨论 3.5 连续信道及其容量 讨论 3.5 连续信道及其容量 讨论 3.5 连续信道及其容量 Eg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量 信道 p(Y/X) Y X X=(X1X2…XL) Xi?{a1,a2,…,an} Y=(Y1Y2…YL) Yi ?{b1,b2,…,bm} 转移概率矩阵为 1 1 1 1 1 BSC的二次扩展信道 X?{00,01,10,11