通信原理I第1章绪论.pptVIP

* 5 信息及其度量(4) 信息源的最大熵，发生在每一个符号等概率出现时 如果各符号x1 x2 … xM等概出现，即P(xi)=1/M，则有 用平均信息量计算消息的信息量 若消息传送的符号总数为m， 例：信息源由独立等概的符号0, 1组成，M = 2 则 I = m H(x) (bit) H(x) = log2 M = 1bit/符号 此时符号数与比特数相等。 * 5 信息及其度量(5) 例1.4.1 一信息源由四个符号0, 1, 2, 3组成，它们出现的概率分别为3/8, ?, ?, 1/8，且每个符号的出现都是独立的。试求某个消息201020130……(57个符号：0~23, 1~14, 2~13, 3~7)的信息量。 方法一： 方法二： * 5 信息及其度量(6) 连续消息的度量 连续信源的熵是一个相对熵(比?多出的相对量)，而离散信源的熵是一个绝对熵 * 6. 主要性能指标(1) 有效性：系统传输消息的效率/通信资源(频率、时间)的充分利用，在给定的信道内能够容纳多大的信息量，或允许传输多高的信息率 可靠性：信息传输的准确程度，传送消息的准确还原 根据信息论观点，通信系统的有效性和可靠性常常是一对矛盾。也就是说有效性很高的通信系统往往带来可靠性不足的缺点；或者是保证了很高的可靠性，但导致有效性的降低。可靠性是矛盾的主要方面，即发送消息在接收端的