2011年信息论讲义2.ppt

收到某消息获得的信息量 ＝ 不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性）－ （收到此信息后关于某事件发生的不确定性） 信息论中“比特”与 计算机术语中“比特”区别 如果p(xi)=1/2，则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。信息论中“比特”是指抽象的信息量单位； 计算机术语中“比特”是代表二元数字； 这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。 联合自信息量 联合概率 联合自信息量 信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj)，则 性质： 条件自信息量 设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 表示在特定条件下（yj已定）随机事件xi 所带来的信息量 同理，xi已知时发生yj的条件自信息量为 自信息量、条件自信息量和联合自信息量之间的关系 联合自信息量：例题 联合自信息量：例题 自信息： 指某一信源发出某一消息所含有的信息量。 所发出的消息不同,它们所含有的信息量也就不同。 自信息I (xi)是一个随机变量,不能用它来作为整个信源的信息测度。 习题