基于信息论的信息测度研究基础.pdfVIP

麟；辫鬻麓浚鬻鬻鬻黼黼辫麟麟鍪 但是，为避免出现除数为零的情况，必须假定所有概率恒为正，不 过，该正值可以．|壬意小，这种假定不会给研究工作带来多大损失。 不确定性的最合理的量度。尽管在不同的条件下可以得到不同形 式的不确定性的量度，但是，直到目前为止，从理论上以及函数形 对数似然比log尝苦S在假设H：下的数学期望就称为鉴别 信息，记作J(户2，pl；x)，即： №神硝)=塞以。log糕 陷。因为从概念上讲，连续随机变量所取的值，应该是无穷精度， 其不确定性为无穷是完全合理的。在实际应用中，由于变量所取 不需要指明随机变量的情况下，鉴别信息I(声：，A；x)～般可简 的数值只能是有限精度，因此，连续随机变量的熵，为无穷这点并 记作f(p2，户1)。 不会给实际应用带来困难，只需用一个相对尺度来衡量连续随机 鉴别信息，(p2，声。)是为鉴别H2和Hl而对随机变量x在码 变量的不确定性即可。 假设的分布下进行观察所平均得到的倾向于H：的信息量。也可 b．减少或消除随机变量的不确定性的两条途径和信息的两 以理解为：观察者对随机变量x的了解由分布p。(z)一声：(．r)时 种量度：一条是对另一个与随机变量统计关联的随机变量进行观 所获得的信息量，此时p。(z)相当于先验概率分布，p：(z)则是观 察、试验，从而获得关于原随机变量的信息，减少或消除其不确定 察后所得到的后验概率分布。 性。该信息量可以用互信息进行量度。另一条是对随机变量本身 由于鉴别信息J(户2，p。)是有方向的，故又叫做方向散度。因 进行观察、试验，从而获得信息。减少或消除其不确定性。该信息 为在一般情况下： 量可以用鉴别信息进行量度。 ，(户2，户1)J(户J，户2) 从统计学的角度来看，信息论的三个基本概念给出了三个统 在此基础上。可以定义两个概率分布之同的散度 计量，代表了三种量度，其中：熵是一个系统无序性的量度；鉴别 (divergence)J(户2，pl；x)为： 信息是两种概率分布之间差异性的量度；互信息是两个随机变量 』(户2，户l；X)=f(p2，户l；x)+j(户l，声2；x)之间统计依存性的量度。因此，熵、互信息和鉴别信息大大丰富 在不指明随机变量x而不会引起混淆的情况下J(户：，声。；x)也可了统计学中对随机现象的描述方法，其意义超过了随机变量一般 以简记为J(户2，户。)。 的数字特征。 散度J(户：，p。)是对两个概率分布之间的差别的一种量度， 在信息论的这三个基本概念中，熵是基础的，鉴别信息则是 它具有以下三个性质： 最普遍的。由鉴别信息可以推出互信息，所以互信息是鉴别信息 a．J(户：，户。)是无方向性的。对其两个概率分布是对称的，即 的特例。由互信息又可以推出熵，所以。熵是互信息的特例。 ．，(户l，p2)=’，(p2，p1) 三者的上述关系，使得它们的函数性质也存在相似之处，特