包头师范学院通信原理课件 第4章.pptVIP

第4章 信 道 第4章 信 道 3 离散信源的两种不同的度量单位： C － 每个符号能够传输的平均信息量最大值 Ct － 单位时间（秒）内能够传输的平均信息量最 大值（信道最大的信息传输速率，熵速率 ） t 为平均传送一个符号所需的时间 两者之间可以互换Ct=RBC （信道所能传送的最大信息量） C = max I ( X ; Y ) bit / 符号 * 第4章 信 道 发送符号：x1，x2，x3，…，xn 接收符号： y1，y2，y3，…，ym P(xi) = 发送符号xi 的出现概率 ， 先验概率 i ＝ 1，2，…，n； P(yj) = 收到yj的概率， j ＝ 1，2，…，m P(xi/yj)=后验概率接收到 Y 后对X 的信息量 P(yj/xi) = 转移概率， 即发送xi的条件下收到yj的条件概率 x1 x2 x3 y3 y2 y1 接收端 发送端 xn 。。。。 。。。。 。 ym 图4-20 信道模型 P(xi) P(y1/x1) P(ym/x1) P(ym/xn) P(yj) * 第4章 信 道 计算收到一个符号时获得的平均信息量平均互信息量 从信息量的概念得知：发送xi时收到yj所获得的信息量等于发送xi前接收端对xi的不确定程度（即xi的信息量）减去收到yj后接收端对xi的不确定程度。 发送xi时收到yj所获得的信息量 = -log2P(xi) - [-log2P(xi /yj)] 对所有的xi和yj取统计平均值，得出收到一个符号时获得的平均信息量： 平均信息量 / 符号 ＝ * 第4章 信 道 平均信息量 / 符号 ＝ 式中 －为每个发送符号xi的平均信息量，称为信源的熵。 －为接收yj符号已知后，发送符号xi的平均信息量。 由上式可见，收到一个符号的平均信息量只有[H(x) – H(x/y)]，而发送符号的信息量原为H(x)，少了的部分H(x/y)就是传输错误率引起的损失。 第4章 信 道 由上式可见，接收y前后对x的不确定度的变化 * 第4章 信 道 二进制信源的熵 设发送“1”的概率P(1) = ?， 则发送“0”的概率P(0) ＝ 1 - ? 当? 从0变到1时，信源的熵H(?)可以写成： 按照上式画出的曲线： 由此图可见，当? ＝ 1/2时， 此信源的熵达到最大值。 这时两个符号的出现概率相等， 其不确定性最大。 图4-21 二进制信源的熵 H(?) * 第4章 信 道 无噪声信道 信道模型 发送符号和接收符号 有一一对应关系。 此时P(xi /yj) = 0； H(x/y) = 0。 因为，平均信息量 / 符号 ＝H(x) – H(x/y) 所以在无噪声条件下，从接收一个符号获得的平均信息量为H(x)。而原来在有噪声条件下，从一个符号获得的平均信息量为[H(x)－H(x/y)]。这再次说明H(x/y)即为因噪声而损失的平均信息量。 x1 x2 x3 y3 y2 y1 接收端 发送端 。。。 。。。 。 yn 图4-22 无噪声信道模型 P(xi) P(y1/x1) P(yn/xn) P(yj) xn * 第4章 信 道 容量C的定义：每个符号能够传输的平均信息量最大值 (比特/符号) 当信道中的噪声极大时，H(x / y) = H(x)。这时C = 0，即信道容量为零。 容量Ct的定义： (b/s) 式中 r － 单位时间内信道传输的符号数 * 0 0 1 1 P(0/0) = 127/128 P(1/1) = 127/128 P(1/0) = 1/128 P(0/1) = 1/128 发送端 图4-23 对称信道模型 接收端 第4章 信 道 【例4.6.1】设信源由两种符号“0”和“1”组成，符号传输速率为1000符号/秒，且这两种符号的出现概率相等，均等于1/2。信道为对称信道，其传输的符号错误概率为1/128。试画出此信道模型，并求此信道的容量C和Ct。 【解】此信道模型画出如下： * 第4章 信 道 此信源的平均信息量（熵）等于： （比特/符号） 而条件信息量可以写为 现在P(x1 / y1) = P(x2 / y2) = 127/128， P(x1 / y2) = P(x2 / y1) = 1/128， 并且考虑到P(y1) +P(y2) = 1，所以上式可以改写为 贝叶斯公式 * 第4章 信 道 平均信息量 / 符号＝H(x) – H(x / y) =