2章1,23节(上课用).pptVIP

05-06学期上 Elements of Information Theory 信息论Information Theory 蒋青 jiangq@cqupt.edu.cn TEL2 离散信源及其信息测度 2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵 2.1信源分类 按照消息取值集合以及取值时刻集合的离散性和连续性分类（表2.1） 按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源； 按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。 表2.1 可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及概率测度——概率空间来描述信源。 不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。 信源输出的消息由随机变量描述 离散信源的数学模型 并满足 信源输出的消息由随机变量描述 连续信源的数学模型 并满足 信源输出的消息由随机矢量描述 多维离散信源： 很多实际信源输出的消息往往是由一系列符号序列所组成。 一般情况下，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，假设信源输出的是平稳的随机序列，即序列的统计特性与时间的推移无关。 多维离散信源的数学模型 信源的N重概率空间为 2.2 离散信源的信息量和信息熵 自信息量定义 某事件发生所含有的信息量应该是事件发生的先验概率的函数。 函数f [P(ai)]应满足以下条件： f (Pi) 应是先验概率P(ai)的单调递减函数，即当P1(a1) P2 (a2)时f (P1) f (P2) 当P(ai) =1时， f (Pi) =0 当P(ai) =0时， f (Pi) =∞ 两个独立事件的联合信息量应等于它们各自的信息量之和。即统计独立信源的信息量等于它们各自的信息量之和。 自信息量定义 自信息量 I(ai)代表两种含义：当事件ai发生以前，表示事件ai发生的不确定性；当事件ai发生以后，表示事件ai所含有（或所提供）的信息量。 在无噪信道中，事件ai发生后，能正确无误地传输到收信者，所以I(ai)可代表接收到消息ai后所获得的信息量。 自信息量定义 自信息量的单位： 以2为底的对数时单位是“比特”（bit — binary unit的缩写） 以e为底时单位是“奈特”（nat — nature unit的缩写） 以10为底时单位是“哈特”（Hart — Hartley的缩写） 联合自信息量 定义：若有两个消息 xi，xj同时出现，可用联合概率P(xi，xj)来表示，这时的自信息量定义为 条件自信息量 定义：设在yj条件下，随机事件发生xi的条件概率为P(xi/yj)，则xi的出现所带来的信息量被称为它的条件自信息量，表示为 自信息量、条件自信息量和联合自信息量之间的关系： I(xi，xj)= -logP(xi) P(yj /xi)= I(xi)+ I(yj /xi) = -logP(yj) P xi / yj)= I(yj)+ I(xi /yj) 互信息量 定义： 对两个离散随机事件集合X和Y，事件yj的出现给出关于事件xi的信息量，定义为事件xi、yj的互信息量，用I(xi ; yj)表示。 条件互信息量 定义：条件互信息量是在给定zk条件下，事件yj的出现所提供的有关xi 的信息量，用I(xi；yj|zk)表示或用I[(xi；yj)|zk]表示。 条件互信息量 假设XYZ空间的事件xi、yj、zk，那么事件yjzk出现后，从yjzk中获取关于xi的信息量是多少呢？ 如果把yjzk看作一个事件，有 条件互信息量 条件互信息量和条件信息量的关系 离散信源的信息熵 Entropy 离散随机变量 X 的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望 信息熵的物理含义： 信息熵 H(X) 表示了信源输出前，信源的平均不确定性； 信息熵 H(X) 表示了信源输出后，每个消息或符号所提供的平均信息量； 信息熵 H(X) 反映了随机变量 X 的随机性。 条件熵 上面讨论的是单个离散随机变量的概率空间的不确定性的度量问题。然而，在实际应用中，常常需要考虑两个或两个以上的概率空间之间的相互关系，此时就要引入条件熵的概念。 条件熵 定义：在联合集XY中，把条件自信息量的概率加权平均值定义为条件熵。其定义式为： 条件熵 物理含义： 称：H(X/Y)为信道疑