自信息量说课.ppt

通信系统模型 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离散信源 , 其中 离散无记忆信源—数学模型 集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。 〉 1）中国女子乒乓球队夺取亚运会冠军。 2）中国男子足球队夺取世界杯赛冠军。 信息的可度量性（1） 既然不确定性的大小能够度量，所以信息是可以度量的 某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关 设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 信息的可度量性（2） 讨论题 一般的方法是，在天平的两端各放一个 硬币：如果平衡，则都不是假币；如果不 平衡，则有一个是假币，再与别的任一硬 币比较。 将12枚硬币平分为3堆； 在天平的两端各放一堆：如果平衡，则假币在剩余一堆； 通过这步操作，可消除一些不确定性，获得一定的信息量： 存在的不确定性是 的函数： 前 存在的不确定性是 的函数： 后 讨论题 信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）- （收到该消息后关于某事件的不确定性） 事件的发生所提供的信息 讨论题 特殊情况： ① 发生概率为1的必然事件，无不确定性； ② 发生概率为0的不可能事件，不确定性无限大 ③ 独立事件发生包含的信息量为各事件信息量的和。 信息的可度量性（3） 某事件发生所含有的信息量应是该事件发生先验概率的函数： xi的自信息 （3）当 时 （4）当 时 （5）两个独立事件的联合信息量应等于它们分别的信息量之和。 (2) 应是先验概率的单调递减函数，即当 时 根据客观事实和人们的习惯概念，应满足以下条件： 自信息 (1) 非负性： 根据上述条件可以从数学上证明这种函数形式是对数函数，即： 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。 自信息 例题（1） 设有12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明） 设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为 设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 事件a,b的不确定性为 要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量 例题（1）--解答 而在天平上称—次能判断出三钟情况：重、轻和相等。这三种情况是等概率的 所以，天平测一次能获得的信息量(即消除的不确定性)为 则至少必须称的次数为 例题（1）--解答 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量? 如果你在已知今天是星期四的情况下提出同样的问题．则答案中你能获得多少信息量？ (假设已知星期一至星期日的排序) 例题（2） 设事件A知道今天是星期几的悄况下，问明天是星期几的答案；事件B为已知今天是星期四的情况，问明天是星期几的答案。则 从而，从事件A中获得的信息量 从事件B中获得的信息量 由此可看出，必然事件出现的概率为1，从中获得的信息量为零。 例题（2）--解答 设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： 例题（3） 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等概率的可能组合。所以I=-log2(1/2m)=m bit，就是需要m比