《信息论与编码技术》自信息量.ppt

三、自信息量的性质【补充】 I(xi)是非负值—非负性 当p(xi)=1时，I(xi)=0。 当p(xi)=0时，I(xi)=∞。 I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)。 信息论与编码技术 2.2 自信息量 【思考】 概率空间 [X,P]中能输出多少信息？ 每个消息xi的出现又携带多少信息量呢？ 【引例－ 例2.4】 假设一条电线上串联了8个灯泡x1, x2, …,x8 。这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有且仅有一个已损坏，致使串联灯泡都不能点亮。在检查之前，我们不知道也不能确定哪个灯泡xi已损坏。只有通过万用表去测量电路是否断路，获得足够的信息量，才能获得和确定哪个灯泡xi已损坏。 如何测量、确定？ 【引例－ 例2.4】 【解】一般采用的最简单方法： 第一次测量：测量电路起始至中间一段的阻值。假设每次测量均为前端不通。 通：后端的灯泡损坏 不通：前端有损坏的灯泡 分析1 【引例－ 例2.4】 【分析1】 通过第一次测量可以消除一些不确定性，获得一定的信息量。 【大小?】 在未测量之前，8个灯泡都有可能损坏，其先验概率是P1=1/8，存在的不确定性用I(P1)表示。 【引例－ 例2.4】 【分析1】 第一次测量之后，可知有4个灯泡是好的，另外4个中有一个是坏的，其后验概率为P2=1/4，尚存在的不确定性用I(P2)表示。 第一次测量后，所获得的信息量是测量前后不确定性减少的量： I(P1) - I(P2) 【引例－ 例2.4】 第二次测量：只需在4个灯泡中进行，假设每次测量均为前端不通。测量电路起始至两个灯泡的中端。 根据通与不通可知是哪两个灯泡中有坏的可能。 分析2 【引例－ 例2.4】 【分析2】 第二次测量后变成猜测两个灯泡中哪一个是坏的了，这时后验概率是P3=1/2 ，尚存在的不确定性是I(P3) 。 第二次测量获得的信息量是： I(P2) - I(P3) 【引例－ 例2.4】 第三次测量：只需在2个灯泡中进行。 能完全消除不确定性，并获知哪一个灯泡坏了。 分析3 【引例－ 例2.4】 【分析3】 第三次测量已不存在不确定性了，因此，尚存在的不确定性为0 。 第三次测量获得的信息量是： I(P3) – 0 = I(P3) 【引例－ 例2.4】 【计算】令 第一次测量获得的信息量： 第二次测量获得的信息量： 【引例－ 例2.4】 第三次测量获得的信息量： 【结论】 要从8个等可能损坏的灯泡中，确定哪个灯泡是坏的，至少要获得3比特的信息量。否则是无法确切知道哪个灯泡已坏了。 信息量? 2.2.1 信息量【补充】 一、信息量的定义 【定义】在传输的一般情况下，接收端所获得的信息量应等于信息传播前后不确定性的减少（消除）量。 2.2.1 信息量【补充】 二、信息量的直观表示 收到某消息获得的信息量 = (收到此消息前关于某事件发生的不确定性) – (收到此消息后关于某事件发生的不确定性) = 不确定性减少的量 2.2.1 信息量【补充】 三、一种特殊的情况 在无噪声时，通过信道传输，可以完全无失真地收到所发的消息，所以收到此消息后关于某事件发生的不确定性完全消除，此项为零。 2.2.1 信息量【补充】 【无噪声时的直观表示】 无噪传输时收到某消息获得的信息量 = 收到消息前关于某事件发生的不确定性 = 信源输出的某消息中所含的自信息量 思考 2.2 自信息量 【思考】 概率空间 [X,P]中能输出多少信息？ 每个消息xi的出现又携带多少信息量呢？ 2.2.2 自信息量 一、自信息量的定义 【定义】任意随机事件的自信息量为该事件发生概率的对数的负值。 一、自信息量的定义 【数学描述】由概率空间[X,P]得： 其中，p(xi) 是消息xi的概率。 一、自信息量的定义 【物理意义】 当事件xi发生以前，I(xi)表示事件xi发生的不确定性。 当事件xi发生以后，I(xi)表示事件xi所含有（或所提供）的信息量。 在无噪声时，事件xi发生后，能正确无误地传输到接收端。此时，I(xi)可代表接收到信息xi后所获得的信息量。 自信息量的单位取决于对数底的取值。 若对数的底为2，则I(xi)的单位为比特(bit，binary unit)—通信与信息中 【注意】多数情况下，采用以2为底的对数计算自信息量。 二、自信息量的单位 二、自信息量的单位 若对数的底为e(自然对数)，则I(xi)的单位为