第二章 信息和信道.ppt

第二章 信息度量* —— 信息量与熵的概念和计算 信道概述 —— 信道定义和分类 信道模型 —— 调制（模拟）和编码（数字）信道模型 恒、随参信道对信号传输的影响 —— 无失真传输条件、幅频与相频失真等 信道容量* —— 有扰连续信道的容量 信息、消息和信号 信号 Signal： 消息、信息的载体和传递形式。消息的物理实现。 消息 Message： 声音、图象、文字等所代表的内容。 信息 Information： 消息内容中所含的本质的、有意义成分。 信息与消息的关系 信息是可以度量的。消息中所含信息的量的多少称为信息量。 信息量与概率成反关系：消息中所含信息量的大小与消息所出现的可能性（概率）有关。概率愈小，信息量愈大；反之信息量愈小。 信息量叠加原理：几个相互独立的事件所构成消息的信 息量是各个分立事件的信息量之和。 2.1.1 信息量的数学定义 几种离散信源的信息量 二进制码元只有1, 0. 每个码元P＝1/2，且独立，因此 I=Log2(1/P)=Log22=1 (bit) 16进制每个码元出现的概率是P=1/16,且独立，则 I=Log216=4 (bit) 拉丁字母26个，若它们独立等概，则每字母的 I = Log226 = 4.7 (bit) 一级汉字3755个, 若它们独立等