《通信原理》课件第3讲 信息及其度量.ppt

第3讲信息及其度量信息及其度量（重点）信息：是消息中包含的有效内容如何度量离散消息中所含的信息量?铁路系统运送货物量多少采用“货运量”来度量通信系统中传输信息的多少采用“信息量”来度量。注意：信息量的大小实际上与内容无关一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）【例】“某客机坠毁”这条消息比“今天下雨”这条消息包含有更多的信息。 信息及其量度一条信息发生的概率越小，信息量越大；概率越大（一种极端情况是“必然的事情”信息量为0）则信息量越小于是，对于一条信息x，人们用下列公式表示其信息量I：之所以取对数是由于信息量的“累加性”决定的1.4信息及其量度信息量的单位由对数底的取值决定。若对数以2为底时单位是“比特”（bit—binaryunit的缩写）；若以e为底时单位是“奈特”（nat—natureunit的缩写）；若以10为底时单位是“哈特”（Hart—Hartley的缩写）。通常采用“比特”作为信息量的实用单位。同学们要掌握的[例题1]某信源每天播报某地的天气预报，此地晴天多云、阴、雨的概率分别为1/2、1/4、1/8、1/8，求：（1）晴、多云、阴、雨的各自所含信息量（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量（3）此信源的每个消息的平均信息量（称为“信息熵”）[例题1]（解）[例题1]（解）称为信息熵，因为其通用公式为这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。请注意其量纲[例题2]一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量。【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量 每个符号的算术平均信息量为 [例题2]若用熵的概念来计算：则该消息的信息量

以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。 当消息序列较长时，用熵的概念计算更为方便。习题某信源符号集由A、B、C、D、E、F组成，每个符号独立出现，其概率分别为1/4、1/4、1/16、1/8、1/16、1/4，求该信息源输出符号的平均信息量谢谢大家！*热力学中的熵（作为混乱程度的度量）：一個系統不受外部干擾時往內部最穩定狀態發展的特性，其实就是越来越平均、越混乱*热力学中的熵（作为混乱程度的度量）：一個系統不受外部干擾時往內部最穩定狀態發展的特性，其实就是越来越平均、越混乱