信息论02ppt课件_1.pptVIP

第一章 信息论的基本概念;1.3 离散互信息 § 1.3.1 概念 § 1.3.3 互信息函数的性质 § 1.3.2 多变量情况下的互信息 1.4 连续随机变量的熵和互信息 § 1.4.1 随机变量微分熵 § 1.4.2 随机变量函数的微分熵 § 1.4.3 互信息 § 1.4.4 微分熵的变换不变性;熵(Entropy) 1.1 不确定性与自信息 对于通信系统，其传递的信息是具有随机性。定量描述信息应基于随机事件。 随机事件的重要特性：结果具有不确定性。 例： （1）第一次出门遇见的乌鸦的颜色是白色。 X （2）第一次出门遇见的人用手习惯是左撇子。 Y （3）第一次出门遇见的人的性别是女性。 Z ; X=(x1,x2)=(白，黑） Y=（y1,y2)=(左，右） Z=（z1,z2)=(女，男） ; 判断X=x1,Y=y1,Z=z1的不确定性: p(x1)p(y1)p(z1) X=x1白发生的可能性, Y=y1左发生的可能性, Z=z1女发生的可能性 在不确定性方面: ( X?x=x1) (Y? y=y1)(Z?z =z1) 随机事件发生的不确定性与发生的概率有关 不确定性的量化： 随机事件发生的不确定性为概率的函数，设为 f(pi), 该函数应具有如下性质： ;（1）单调性： pi?? f(pi)? (2) f(pi) 非负 f(pi) 0：任何随机事件发生存在不确定性。 （3）可加性 多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。 例： 事件X=x1,Y=y1同时发生，其发生概率为 p( X=x1,Y=y1）=p(x1)p(y1)，而 f 应满足： f(p( X=x1,Y=y1）)= f(p(x1))+f(p(y1)) ; f 能够将积变成和的功能。可设为对数函数： 随机变量X取值xi的概率为pi，则其取值xi的不确定性的量度f(pi)可用下面函数表示： f(pi)为随机事件X取值xi所带来的自信息。 信息量：消除不确定性所获得的信息。 信息量=不确定性的减少量 不确定性消除的量就是我们所获的信息量 ; 平均不确定性 设随机变量X如下N元概率空间： ;1.2 Shannon 熵 § 1.2.1 单变量离散熵函数 定义：随机变量X概率空间如上，则其不确定性的量度可表示为： Shannon单变量离散熵函数。 § 1.2.2 熵函数形式的唯一性 定理1.1 对于随机变量X存在这样的表示不确定性的量度的函数,为概率分布p1,p2,…,pN的函数:; 且该函数满足以下三个先验条件: 连续性: 是 的连续函数。 单调性：等概时为单增函数， （3）可加性：当随机变量X的取值不是通过一次试验，而是若干次试验才最后得到时，则X在各次试验中的不确定程度应该可加，且其和始终与通过一次试验取得结果的不确定程度相同： ;即 则函数有下面的唯一形式： ;熵函数： 表示随机变量X的不确定性的量度，称为Shannon 熵。 随机变量X，Y，熵表示为 H(X), H(Y),为多元 函数。 可加性解释：设随机变量X ;通过一次试验观察 x1 发生的不确定程度为 下面分两次试验来观察： （试验1）随机变量 那么 发生的不确定程度可表示为 （试验2）随机变量 ; 则计算得 = + ; 熵函数形式的唯一性定理的证明可参见参考书1和3。 熵值的单位 以2为底： bit (binary unit) 以e为底： nat (nature unit) 以10为底：Hart (Hartley) 换算关系： 1 nat=1.44 bit 1 Hart=