天平称球中的信息论.docVIP

天平秤球中的信息论 mjwu mjwu1940@126.com 天平秤球过程是人们对事物认识不断深化的过程。从一开始的一无所知，通过分盘秤球，逐步加深认识，直到最后完全了解为止。因此，用信息论方法来描述这一过程会获得意想不到的结果。 （虽然本文撰写并不要求读者掌握信息论，但先学点信息论基础对本文的阅读与理解有帮助。） m个球中含有一个次球，通过n次天平秤球，查寻次球并确定其轻重。球编号为1，…，m。初始，球的状态用原始向量X=(x1,…,xm)来表示，xi为0表示i号球为正品，1——重球，-1——轻球；仅有一个xi为1或-1。分盘秤球过程中，人们对球的估计与判定用估判向量Y=(y1,…,ym) 来表示，yi为0表示判定i号球为正品，1——疑重球（或重球或正品），-1——疑轻球（或轻球或正品），2——待定球（或重球或轻球或正品）。统计估判向量Y中的疑重球数z，疑轻球数，待定球数d，正品好球数h，z+q+d+h=m。秤球过程中，估判向量Y不断变化。从初始的Y=(2,…,2)，z=q=0,d=m开始，每次秤球后，Y都有所变化，直到Y仅含有一个分量yi为1（或-1）为止。此时Y=X,z+q=1,d=0。为方便讨论，第i次秤球后估判向量Y记为Y(i)；为简化书写长度，估判向量Y=(y11,…,ym)有时写成Y=(z,q,d)。 一、估判向量的信息量 下面考察秤球过程中估判向量Y信息量（即其不肯性）的变化： 初始，估判向量Y(0)=(2,…,2)，次球可能在1，…，m号位置上，其取值有2中可能:1或-1。因此，有2m种可能状态，初始Y(0)的信息量I(0)为log(2m)，（底为2，下同）。 第i次秤球后，估判向量Y(i)的各分量有多种可能。但仅有两种类型：一种是z=0,q=0,d0，此时，Y(i)的各分量仅为0与2，Y(i)的信息量为log(2d)；另一种是z+q0,d=0，此时，Y(i)的各分量仅为0,1与-1，Y(i)的信息量I(i)为log(z+q); 最后，估判向量Y(n)的各分量仅有一个为1或-1，即z=1,q=0或者z=0,q=1。z+q=1, Y(n)的信息量I(n)为log(z+q)=log(1)=0。此表明，不肯定性完全消失，查寻完成。 综上所述，对于所有的第i次秤球后，估判向量Y(i)的信息量I(i)=log(z+q+2d)。 例1。设m=10,X=(0,…,0,1,0)，即第9号球为重球。初始，Y(0)=(2,…2), 其信息量I(0)=log(2*10)=log(20)。第一次秤球时，左盘1-3号球，右盘4-6球，不放盘7-10号球。秤球结果：平衡。估判向量Y变为Y(1)=(0,0,0,0,0,0,2,2,2,2)；z=0,q=0,d=4；其信息量I(1)=log(2*4)=log(8)。 例2，m=14,X=(1,0,…,0)，即第1号球为重球。第一次秤球时，左盘1-5号球，右盘5-10球，不放盘11-14号球。秤球结果：左重右轻。估判向量Y变为Y(1)=(1,1,1,1,1，-1，-1，-1，-1,-1,0,0,0,0)；z=5,q=5,d=0；其信息量I(1)=log(5+5)=log(10)。 二、秤球的互信息 对于第i次秤球一次而言，估判向量Y从原先的Y(i-1) 变成Y(i)。其信息量从I(i-1)变成I(i)，信息量减少了。所减少的信息量I(i-1)-I(i)是第i次秤球所提供的信息量，称为秤球的互信息，记为H(i)： H(i)=I(i-1)-I(i) H(i)表示第i次秤球所生成的不肯定性下降量。 如在例1中，H(1)= I(0)-I(1)=log(20)-log(8)=log(2.5)=1.3219。在例2中，H(1)= I(0)-I(1)=log(20)-log(10)=log(2)=1。 秤球的过程是不肯定性不断减少的过程，也即估判向量Y的信息量不断减少的过程。通过秤球所提供的互信息，使得原先的不肯定性下降到0为止。于是，通过n次秤球可判定次球及其轻重，其初始的不肯定性I(0)可分解为 I(0)= H(1)+ H(2)+…+ H(n) 事实上，I(0)=( I(0)-I(1))+ ( I(1)-I(2))+…+( I(n-1)-I(n))+ I(n)，而I(n) =0。 用信息论探讨秤球的分盘方法 下面对天平秤球作遍历性讨论。n次秤球的遍历实际是一个三叉树。 对于第i次天平秤球，有三种结果：平衡，左重右轻，左轻右重。其生成的互信息记为H0(i), H1(i), H-1(i)。因此，其加权平均为 H(i)=p0*H0(i)+p1*H1(i)+p-1*H-1(i) 其中，p0 ,p1 ,p-1 分别表示在平衡，左重右轻，左轻右重时形成估判向量中所包含