4.6.1离散信道容量.ppt

* 4.6 信道容量 信道容量 － 指信道能够传输的最大平均信息速率。 按输入集和输出集的性质，将信道分为离散信道和连续信道。 离散信道:当输入集和输出集都是离散集时。电报信道和数据信道就属于这一类。 连续信道:当输入集和输出集都是连续集时。电视和电话信道属于这一类。 4.6.1 离散信道容量 4.6.2 连续信道容量 * 4.6.1 离散信道容量 两种不同的度量单位： C － 每个符号能够传输的平均信息量最大值 Ct － 单位时间（秒）内能够传输的平均信息量最大值 两者之间可以互换 * 4.6.1 离散信道容量 发送符号：x1，x2，x3，…，xn 接收符号： y1，y2，y3，…，ym P(xi) = 发送符号xi 的出现概率 ， i ＝ 1，2，…，n； P(yj) = 收到yj的概率， j ＝ 1，2，…，m P(yj/xi) = 转移概率， 即发送xi的条件下收到yj的条件概率 x1 x2 x3 y3 y2 y1 接收端 发送端 xn 。。。。 。。。。 。 ym 图4-20 信道模型 P(xi) P(y1/x1) P(ym/x1) P(ym/xn) P(yj) 1.计算离散信道容量的信道模型 * 4.6.1 离散信道容量 发送xi时收到yj所获得的信息量: 2.计算收到一个符号时获得的平均信息量 发xi前，接收端对xi的不确定程度（即xi的信息量）减去收到yj后接收端对xi的不确定程度(即给定yj条件下的xi不确定程度)。 = -log2P(xi) - [-log2P(xi /yj)] (4.6-2) 发送xi时收到yj所获得的信息量 平均信息量 / 符号 ＝ 对所有的xi和yj取统计平均值，得出收到一个符号时获得的平均信息量： 平均信息量 / 符号 ＝ * 4.6.1 离散信道容量 由式(4.6-2)可见，收到一个符号的平均信息量只有[H(x) – H(x/y)]，而发送符号的信息量原为H(x)，少了的部分H(x/y)就是传输错误率引起的损失。 H(x)每个发送符号xi的平均信息量，称为信源的熵 H(x/y)为接收yj符号已知后，发送符号xi的平均信息量。 平均信息量 / 符号 ＝ (4.6-2) * 4.6.1 离散信道容量 设发送“1”的概率P(1) = ?，则发送“0”的概率P(0) ＝ 1 - ? 当? 从0变到1时，信源的熵H(?)可以写成： 按照上式画出的曲线： 由此图可见，当? ＝ 1/2时， 此信源的熵达到最大值。 这时两个符号的出现概率相等， 其不确定性最大。 图4-21 二进制信源的熵 H(?) 3. 二进制信源的熵 * 4.6.1 离散信道容量 平均信息量 / 符号 ＝H(x) – H(x/y) x1 x2 x3 y3 y2 y1 接收端 发送端 。。。 。。。 。 yn 图4-22 无噪声信道模型 P(xi) P(y1/x1) P(yn/xn) P(yj) xn 4. 无噪声信道 1) 信道模型 2) 发送符号和接收符号 有一一对应关系。 此时P(xi /yj) = 0； H(x/y) = 0。 3) 结论: 在无噪声条件下，接收一个符号获得的平均信息量为H(x)。而在有噪声条件下，从一个符号获得的平均信息量为[H(x)－H(x/y)]。这再次说明H(x/y)即为因噪声而损失的平均信息量。 * 4.6.1 离散信道容量 每个符号能够传输的平均信息量最大值 6. 容量Ct的定义： 5. 容量C的定义： 当信道中的噪声极大时，H(x / y) = H(x)。这时C = 0，即信道容量为零。 设　r为 单位时间内信道传输的符号数,则信道每秒传输的平均信息量R为 求R得最大值,即得出Ct: * 0 0 1 1 P(0/0) = P(1/1) = P(1/0) = P(0/1) = 发送端 图4-23 对称信道模型 接收端 4.6.1 离散信道容量 【例4.6.1】设信源由两种符号“0”和“1”组成，符号传输速率为1000符号/秒，且这两种符号的出现概率相等，均等于1/2。信道为对称信道，其传输的符号错误概率为1/128。试画出此信道模型，并求此信道的容量C和Ct。 【解】此信道模型如下： 127/128 1/128 1/128 1/128 * 4.6.1 离散信道容量 此信源的平均信息量（熵）等于： （比特/符号） 而条件信息量可以写为 因P(x1 / y1) =P(0 / 0) = 127/128 P(x2 / y2) = P(1 / 1) =127/128 P(x1 / y2) = P(0 / 1) =1/128 P(