[自然科学]21 信息度量.pptVIP

* 第二章 基本信息论 * 第二章 基本信息论 §2.1 信息度量 第二章 基本信息论 §2.2 离散信源的熵 §2.1 信息度量 §2.4 连续信源的熵 §2.3 二元联合信源的共熵与条件熵 (续) §2.6 离散有噪信道中的熵速率和信道容量 §2.5 熵速率和信道容量 §2.8 无失真信源编码 §2.7 连续有噪信道中的熵速率和信道容量 第二章 基本信息论 §2.1 信息度量 一、对信息的进一步认识 二、离散信源的数学模型 三、自信息量与平均自信息量 四、互信息量与平均互信息量 信道上传送的是消息随机变量(的取值)， 1. 消息或信息的本质在于它的不可知性和不确定性。 它(们)满足某种概率分布。 消息随机变量的一个可能取值称为一个事件。 息的内容，或者消息所表达的内容是不确定的。 否则没有必要发送该消息。 即接收对象在收到某消息之前，并不知道消 一、对信息的进一步认识 2. 消息随机变量的随机性越大，含有的信息量就越大。 则消息随机变量 Y 含有的信息量大。 则消息随机变量 X 含有的信息量小。 （随机性小，可预见性大，因此含有的信息量小。） （随机性大，可预见性小，因此含有的信息量大。） 消息随机变量 X = “中国与韩国足球队比赛的结果”， 例 消息随机变量 Y = “意大利与德国足球队比赛的结果”， 例 一、对信息的进一步认识 1. 消息或信息的本质在于它的不可知性和不确定性。 3. 事件发生的概率越小，此事件含有的信息量就越大。 (不太可能发生的事件竟然发生了，令人震惊。) (小概率事件发生了，事件信息量大。) (大概率事件发生了，事件信息量小。) 事件 “中国足球队 3:0 大胜韩国足球队” 含有的信息量大。 例 事件 “中国足球队 0:2 负于韩国足球队” 含有的信息量小。 例 一、对信息的进一步认识 2. 消息随机变量的随机性越大，含有的信息量就越大。 1. 消息或信息的本质在于它的不可知性和不确定性。 二、离散信源的数学模型 1. 引例 某学校有三个系， 从所有学生中抽签产生一名火炬手， 将可能产生三条消息： ——“火炬手来自 A 系”； ——“火炬手来自 B 系”； ——“火炬手来自 C 系”。 各系的学生数为： 系别 A B C 人数 4000 900 100 ( 嗯。) ( 嗯 ? ! ) ( 嗯 ! ! ! ) 这三条消息的 概率分布为： X 0.8 0.18 0.02 二、离散信源的数学模型 2. 离散信源的概率空间 X …… …… 简记为 X 为信源的状态空间， 为消息符号， 其中， N 为信源状态空间的状态数， 为概率分布(先验概率)， 概率有关， 三、自信息量与平均自信息量 1. 信息度量原则 满足： (4) 两个独立事件同时发生时的信息量应为各自 当信源发出消息 后，其信息量与该消息发生的 即信息量 是 的函数， (自)信息量 (1) 当 时， (2) (3) 信息量的和。 因此有 其中， 为 出现的概率， 消息 的(自)信息量定义为： 定义 底数 a 是大于 1 的常数。 三、自信息量与平均自信息量 2. (自)信息量的概念 通常用 a = 2， 当 a = 2 时，信息量的单位为：bit (比特)； 自信息量的单位与所用的对数底数有关 当 a = e 时，信息量的单位为：nat (奈特)； 当 a = 10 时，信息量的单位为：hartley (哈特莱)。 且 简记为 三、自信息量与平均自信息量 2. (自)信息量的概念 自信息量的单位之间的换算 三、自信息量与平均自信息量 2. (自)信息量的概念 1 nat bit 1.44 bit ； 1 hartley bit 3.32 bit 某消息的概率为 例 则信息量为 hartley bit X 0.8 0.18 0.02 例 某学校有三个系， 系别 1 2 3 人数 4000 900 100 从所有学生中抽签产生一名火炬手， 表示消息“火炬手 各系的学生数为： 来自第 i 系”， 求 (1) 信源的概率空间为： 解 (2) ≈ 0.322 bit ； ≈ 2.474 bit ； ≈ 5.644 bit . 三、自信息量与平均自信息量 3. 平均(自)信息量的概念 定义 信源中各个消息的自信息量的数学期望称为该信源的 平均(自)信息量