离散信源的信息熵.pptVIP

电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 2.2 离散信源的信息熵 信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每次只输出一个消息。 离散信源的数学模型： 式中， 2.2.1 自信息 问题的提出: 每个消息携带多少信息量？ 整个信源能输出多少信息量？ 信源发出的消息是随机的，具有不确定性，收信者收到消息后，才能消除不确定性获得信息。 如果某一消息发生的不确定性越大，一旦发生，获得的信息量就越大。 不确定性的消除是一个从“不知-知”的过程，在此过程中，收信者获得足够的信息量。 消息发生的不确定性和发生的概率有关，消息发生的概率越小，则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为消息ai 的自信息量。 ????? 2.2 离散信源的信息熵 2.2.1 自信息信息量的度量方法 自信息量I(x) 是 P(x) 的单调递减函数 P(x) ?，I(x) ? ； P(x) ? ，I(x) ?； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ?； 两个独立事件的联合信息量应等于它们分别信息量之和，即统计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下： －自信息量的定义 2.2 离散信源的信息熵 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) 若a = e，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特(Hart) I(x)的含义： 事件x发生前， I(x)表示事件x发生的不确定性 事件x发生后， I(x)表示事件x所含有（或所提供）的信息量 2.2 离散信源的信息熵 例2.1 假设一条电线上串联8个灯泡，这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡有一个且只有1个已经损坏，让我们检查判断哪一个灯泡损坏并分析信息获取的过程。 解：用万用表进行检查判断 2.2 离散信源的信息熵 2.2 离散信源的信息熵 第一次获得的信息量 第二次获得的信息量 第三次获得的信息量 2.2 离散信源的信息熵 结论： 收到某消息获得的信息量 =不确定性减少的量 =（收到消息前某事件发生的不确定性） -（收到消息后关于该事件的不确定性） 自信息是指某一消息所含有的信息量，消息不同，所含有的信息量也不同，不能用它作为整个信源的信息测度。 用什么作为整个信源的信息测度? 信息熵 2.2 离散信源的信息熵 2.2.2 信息熵 各离散消息自信息量的数学期望，即信源的平均自信息量——信息熵。 单位：比特/符号。（底数不同，单位不同） 信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义上来表征信源的总体信息测度。 对于某特定的信源（概率空间给定），其信息熵是个确定的数值。 不同的信源因统计特性不同，其熵也不同。 2.2.2 信源熵的物理意义 信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定性。 信源熵H(X)反映了变量X的随机性。 2.2 离散信源的信息熵 例如有两个信源，其概率空间分别为： 可见 信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输出消息前，接收者对信源存在的平均不确定程度的大小，也反映了信源随机性的大小。 2.2 离散信源的信息熵 通过第一次测量，就可以消除一些不确定性，获得一定的信息量， 获得了 1 bit 的信息量 第二次测量只需在4个灯泡中进行，根据通与不通判断哪两只灯泡中有损坏的 第二次测量后，得了 1 bit 的信息量 通过第三次测量，完全消除了不确定性了 *