讲义通第二章.pptVIP

二）条件熵的定义 但如果消息中各符号的出现统计相关（如，受噪声干扰），则上面熵的公式就不再适用，而必须用条件概率来计算平均信息量。 H(xj /xi) －只考虑前一个符号的影响，则前一个符号为xi ，后一个符号为xj 的条件平均信息量，又叫条件熵。 P(xj /xi) －前一个符号为xi ，后一个符号为xj的条件概率。 重要结论： 符号间统计独立时信源的熵 〉统计相关时的熵。即：符号间相互关联将使平均信息量减小。 二、信道容量的概念 1）每个码元能够传输的最大平均信息量 2）单位时间内信道上所能传输的最大信息量 物理意义：是指信道中信息无差错传输的最大速率。 调制信道是一种连续信道，可以用连续信道的信道容量来表征； 编码信道是一种离散信道，可以用离散信道的信道容量来表征。 1、离散信道的信道容量 1）．离散信道模型 所谓离散信道是指输入与输出都取离散值的信道，即广义信道中的编码信道。离散信道模型可以由图3-5表示。 P（xi）为发送符号xi的概率 P（yi）为收到符号yi的概率 P（yi/ xi ）或P（yj/ xi ）为转移概率，i=1，2，…，n，又叫发送xi 时收到yi或yj的条件概率—决定离散信道的特性。 无噪声时：P（yj/ xi ）=0 最简单的例子：二进制无记忆编码信道的模型 信道的特性：由下列信道转移概率矩阵所完全确定