《数字通信原理》Chapter4.pptVIP

数字通信原理(Principle of Digital Communications) 华南理工大学 电子与信息学院 余翔宇 yuxy@scut.edu.cn 信息工程 10级 34 2012.10 第四章 信息论基础 本章概要 信息的度量—熵、信息量、互信息等 离散信道及容量； 连续信源、信道及容量； 信源编码 Huffman编码 率失真函数 4.1 引言 引言 什么是信息？ 再生性 可复制性 信息如何去度量？ 每一句话是否都含有信息？ 回顾一下突发新闻 消息与信息 1948年，美国科学家香农的论文《通信的数学理论》， 奠定了信息论的理论基础。 消息与信息 (1)消息是由符号、文字、数字、语音或图像组成的序列； (2)消息是信息的载体，信息是消息的内涵；消息中可能包 含信息，也可能不包含信息； (3)收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； (4)通信的目的在与传送信息。 消息与信息(续) 通信系统传递信息的机制和本质 形式化：通信的基本任务是在接收端把发送端发出的消息从形式上恢复出来，而对消息内容的理解和判断，不是通信的任务。 非决定论：通信过程传递的消息中所包含的内容，对接收者来说事先是无法预料的。 不确定性：是指收到该消息之前，对其中的内容出现与否，具有不确定的因素；不确定的因素可以通过通信来加以消除或部分消除。 课本P96 4.2 信息的度量 信息度量的概念 (1) 某消息的信息量＝获得该消息后不确定性的消除量； 不确定性?可能性?概率问题： 信息量可用概率的某种函数来度量 (2) 不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数。 离散信源的信息量 离散信源统计特性的描述－－概率场 设离散信源包含N个可能的符号，相应的概率场： 概率场满足条件： 课本P97 离散信源的信息量(续) 信息量作为概率的函数，具有形式 若 与 统计独立，满足可加性要求 如定义 显然有 可同时满足是概率的函数和可加性两个要求。 课本P97 离散信源的信息量 定义 离散消息Xi的信息量I(Xi): 信息量的单位与对数的底有关： log以2为底时，单位为比特：bit； log以e为底时，单位为奈特：nat。 以10为底时，单位为Hartley,以R.V.Hartley的名字命名,也用Det为单位 一般在没有特别声明时均信息的单位为比特。 课本P97 例题 某离散信源由0，1，2，3四种符号组成，其概率场为 假定信源输出每一个符号都是独立，当信源输出的符号序列为S＝113200时，求其输出的信息量的大小。 解 课本P97 信息熵的单位与非平均自信息量的单位一 样都取决于所取对数的底。 离散符号的平均信息量--熵 课本P98 离散信源的平均信息量---信源的熵 定义，离散信源X的熵为： 离散信源的熵是统计意义上的平均信息量。 可以证明，当离散信源X取等概分布时，其熵H(X)取最大值。 （参见4.2.3节，稍后证明） 利用信源的熵，可以方便地估算消息序列所包含的总信息量。 课本P98 例：某离散信源由0，1，2，3四种符号组成，其概率场为： 0 1 2 3 3/8 1/4 1/4 1/8 求消息“ 201 020 130 213 001 203 210 100 321 010 023 102 002 010 312 032 100 120 210” 的信息量。 解： 此消息总长57个符号，其中0出现23次，1出现14次， 2出现13次，3出现7次，此消息的信息量为： 课本P98 例：离散信源与上例相同，计算信源的平均信息量（熵）， 估算上例中消息的信息量。 解： 此消息的平均信息量为： 上例消息的信息量约为： 随着长度增加，估算值与实际值趋于一致。 课本P98 离散信源的最大熵定理 定义4.2.3 凸集 对任意 ，有 定义4.2.4 若 ?型凸函数(下凸函数) ?型凸函数(上凸函数) 课本P98 离散信源的最大熵定理(续) 若函数为?型