第3章信道与信道容量.ppt

普通高等教育“十一五”国家级规划教材《信息论基础》 曹雪虹编著 第3章信道与信道容量 信道的基本概念 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 多输入多输出信道及其容量 信源与信道的匹配 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道 信道参数 信道参数 无干扰（无噪声）信道 信道参数 有干扰无记忆信道 二进制对称信道（BSC） 信道参数 有干扰无记忆信道 离散无记忆信道 信道参数 有干扰无记忆信道 离散输入、连续输出信道 信道参数 有干扰无记忆信道 波形信道 信道容量的定义 信息传输率：信道中平均每个符号所能传送的信息量， R=I(X;Y)=H(X)－H(X/Y) 比特/符号 信息传输速率：信道在单位时间内平均传输的信息量，Rt=I(X;Y)/t 比特/秒 信道容量：信道所能传送的最大信息量。 比特/符号（bits/symbol或bits/channel use） 信道容量的定义 对于固定信道参数的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。 对于时变信道参数的信道，由于其信道参数随时间变化，不能用固定值表示，其信道容量也不再是一个固定的量，而是一个随机变量。此时用另外两个量来表征信道性能。 平均容量：也称遍历容量（Ergodic Capacity），它是对随机信道容量的所有可能的值进行平均的结果，即 ，一般用其来衡量系统整体意义上的信道容量性能； 中断容量：指信道瞬时容量值小于某个指定容量值的概率等于某一给定中断概率Poutage时，该给定的信道容量称为对应于该中断概率的中断容量Coutage，即 3.2离散单个符号信道及其容量 无干扰离散信道的信道容量 3.2离散单个符号信道及其容量 对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 3.2离散单个符号信道及其容量 对称DMC信道例子 3.2离散单个符号信道及其容量 输入对称 3.2离散单个符号信道及其容量 对称信道容量 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 二进制对称信道容量 C＝1－H（?） 3.2离散单个符号信道及其容量 串联信道 3.2离散单个符号信道及其容量 Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 3.2离散单个符号信道及其容量 信道容量 I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 3.2离散单个符号信道及其容量 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 3.2离散单个符号信道及其容量 准对称DMC信道容量 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 方法二 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 3.2离散单个符号信道及其容量 方法三 3.2离散单个符号信道及其容量 Eg. 求信道容量 3.2离散单个符号信道及其容量 一般DMC信道 一般地说，为使I(X;Y) 最大化以便求取DMC容量，输入符号概率集{p(ai)}必须满足的充分和必要条件是： I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。 3.3离散序列信道及其容量 离散序列信道 3.3离散序列信道及其容量 离散无记忆序列信道 3.3离散序列信道及其容量 离散无记忆序列信道 3.3离散序列信道及其容量 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 3.3离散序列信道及其容量 扩展信道 3.3离散序列信道及其容量 独立并联信道 序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X