信息论——基础理论与应用（第5版）课件 【ch01】绪论.pdfVIP

高等学校电子信息类精品教材 第一章 绪论 信息论——基础理论与应用 》》》 01 信息的概念 》 一、信息的概念 01信息、情报、知识、及信号间的区别与联系 ①信息不等同于情报。 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。它只是一类特定的 信息，不是信息的全体。 ②信息也不等同于知识。 知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到有价 值的、人所需的信息。知识是一种具有普遍和概括性质的高层次的信息。 知识是以实践为基础，通过抽象思维，对客观事物规律性的概括。知识信息只是人类 社会中客观存在的部分信息。所以知识是信息，但不等于信息的全体。 一、信息的概念 01信息、情报、知识、及信号间的区别与联系 ③信息也不等同于消息。 用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来就成为消息。 消息中包含信息，是信息的载体。得到消息，从而获得信息。同一则信息可用不同的 消息形式来载荷。 ④既然信息不同于消息，当然也不同于信号。 在各种实际通信系统中往往为了克服时间或空间的限制而进行通信，必须对消息进行 加工处理。把消息变换成适合信道传输的物理量，这种物理量称为信号(如电信号，光信号， 声信号，生物信号等)。 信号携带着消息，它是消息的物理体现，是消息的运载工具。 一、信息的概念 02香农信息的定义 香农将各种通信系统概括成如图1.2所示的框图。 香农信息的定义：信息是事物运动状态或存在方式的不确定性的描述。 消息 信源 信道 信宿 (发送者) (收信者) 干扰或噪声 图1.2通信系统框图 一、信息的概念 03香农信息的度量 (1)样本空间 我们把某事物各种可能出现的不同状态，即所有可能选择的消息的集合，称为样本空间。 每个可能选择的消息是这个样本空间的一个元素 (2)概率测度 对于离散消息的集合概率测度就是对每一个可能选择的消息指定一个概率(非负的且总 和为1)。 (3)概率空间 一个样本空间和它的概率测度称为一个概率空间。 一、信息的概念 03香农信息的度量 (4)自信息 在接收端对是否选择这个消息(符号)a;的不确定性是与a?的先验概率成反比的，即对a; 的不确定性可表示为先验概率P(a?)的倒数的某一函数。我们取该函数为对数函数，并把这 样定义的不确定性称为该消息(符号)a;的自信息，即 1 I(a?)=log (1.1) P(a?) 一、信息的概念 03 香农信息的度量 (5)互信息 由于信道中存在干扰，假设接收端收到的消息(符号)为bj,这个b,可能与a;相同，页可 能与a;有差异。我们把条件概率P(a?|bj)称为后验概率它是接收端收到消息(符号)b,后而发 送端发的是a;的概率。那么接收端收到b,后，发送端发送的符号是否是a;尚存在的不确定性， 应是后验概1率的函数，即是log1 。于是，收信者在收到消息(符号)b,后，已经消除的