第2章 信息度量-廖--2013--本科生.ppt

提纲 2.1 概述 2.2 单符号离散信源的熵（离散熵） 2.2.1 自信息量 2.2.1.1 自信息量 2.2.1.2 条件自信息量 2.2.1.3 联合信息量 2.2.1.4 互信息量 2.2.1.5自信息量、条件自信息量和联合信息量关系 2.2.2 平均自信息量（熵） 2.2.2.1 平均自信息量（熵） 2.2.2.2 平均条件自信息量（条件熵） 2.2.2.3 平均联合信息量（联合熵） 2.2.2.4 平均互信息量 2.2.2.5 熵、条件熵和联合熵的关系 2.3 多符号离散信源的熵（离散熵） 2.1 概述 根据样本空间X取值分布的不同情况，信源分 离散信源 （即时间和幅度取值都离散的信源。 ）vs. 连续信源（时间离散而幅度取值连续的信源），波形信源（时间和幅度取值连续的信源） 离散信源(统计特性用离散型概率分布描述) 单符号离散信源(用随机变量) 多符号离散信源(用随机向量，或随机矢量) 连续信源(统计特性用概率密度函数描述) 根据信源的统计特性，信源分为 无记忆信源和有记忆信源 2.2 单符号离散信源的熵(离散熵) 简单的回顾： 离散信源 该信源发出的消息是随机的，但所有可能输出消息的个数是有限的或是可列的。 单符号离散信源 该离散信源输出消息的形式是单个符号，可用一维离散型随机变量来描述，记为X，取值于符号集合 其中n可以是有限正整数，也可是可列无限大整数 2.2 单符号离散信源的熵(离散熵) 单符号离散信源的概率空间 式中， p(xi)为消息xi (i=1,2,…,n)的发生概率，满足 2.1 概述 本章将介绍的二类基本概念 （自）信息量 熵（平均自信息量） 2.2 单符号离散信源的熵(离散熵) 2.2.1自信息量 2.2.1.1自信息量 2.2.1.2 条件自信息量 2.2.1.3 联合信息量 2.2.1.4 互信息量 2.2.1.5自信息量、条件自信息量和联合信息量关系 2.2.2 平均信息量（熵） 2.2.2.1 平均自信息量（熵） 2.2.2.2 平均条件自信息量（条件熵） 2.2.2.3 平均联合信息量（联合熵） 2.2.2.4 平均互信息量 2.2.2.5 熵、条件熵和联合熵的关系 2.2 单符号离散信源的熵(离散熵) 2.2.1.1 自信息量（self information） 1．定义 2．单位 3．物理意义 4．信息量的性质 2.2 单符号离散信源的熵(离散熵) 2.2.1.1自信息量 1．定义 一个事件(消息)本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。 因为随机事件是否发生蕴含着不确定性，一个随机事件出现概率越接近1，该事件发生的可能性越大，它所含的不确定性就越小，事件发生给收信者提供的信息量就越小。反之，一随机事件的出现概率越接近0，该事件发生的可能性越小，它所包含的不确定性就越大，事件发生给收信者提供的信息量就越大。 2.2 单符号离散信源的熵(离散熵) 2.2.1.1自信息量----例子 【例2.2.1.1】某地1月份天气预报的4种消息构成的单符号离散信源的概率空间为 分别求4种消息的自信息量。 解： 2.2 单符号离散信源的熵(离散熵) 2.2.1.1自信息量 3．物理意义 （1）离散信源中某个消息xi发生前，自信息量I(xi)表示消息xi 发生的不确定性。消息发生的概率越小，其自信息量越大。 当消息发生的概率足够小（只要概率不为零），其自信息量可以足够大，即自信息量没有最大值（不存在极值性） （2）离散信源中某个消息xi发生后，自信息量I(xi)表示消息xi 所含有或所提供的信息量。 2.2 单符号离散信源的熵(离散熵) 2.2.1.1自信息量 4．自信息量的性质 （1）非负性 （2）确定性 （3）单调递减性（无极值性） （4）p(xi) =0 时的信息量 2.2 单符号离散信源的熵(离散熵) 2.2.1.1 信息量 4．信息量的性质 （1）非负性 I(xi)≥0 因为概率p(xi)取值于[0,1] 说明随机事件发生后总能提供一些信息量，最差是零 （2）确定性 若存在某个消息xi 的发生概率p(xi)=1，则其信息量=0 说明该事件是必然事件，因此不含有任何不确定性 2.2 单符号离散信源的熵(离散熵) 2.2.1.1 信息量 4．自信息量的性质 （3）单调递减性（无极值性） I(xi)是p(xi)的单调递减函数 说明随机事件发生的概率越小，我们猜测它发生的困难程度就越大，不确定性就越大，因此自信息量也就越大。 （4）p(xi) =0 时的自信息量 说明发生概率为0的随机事件，相当于不可能发生的