第一章-通信原理-绪论.pptVIP

信息量与概率关系 从公式中看出，消息出现概率越小，包含的信息量越大；反之信息量越小（ P(x)≦1 ） P(x)=1 时，Ｉ＝０ 信息量单位与a有关 　 a=2 信息量单位：比特　bit a=e 　 信息量单位：奈特 nit a=10 信息量单位：哈特莱 消息中含的信息量 消息出现的概率≦1 信息量与概率关系 传送两个等概率出现的二进制波形之一的信息量多少？ 为方便计算，定义a=2，信息量单位比特 多个独立事件信息总量 若干个互相独立事件构成的消息所含的信息量应等于各独立事件信息量之和 当相互独立的若干个事件具有相同的概率 = n表示构成消息的事件的总数。 1.4.2 平均信息量--H 信源发送多个字符，每个符号所含信息量的统计平均值，即等于各个符号所包含的信息量乘以各自出现的概率再相加。又称为信息源的熵。 信源发出字符总信息量=字符总数 * H 例 1.4.3-4 一离散信源由0，1，2，3四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求消息 201020130213001203210100321010023102002010312032100120210的信息量。 解：此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为