第2章信息的度量修改.pptVIP

第二章：信息的度量;第二章：信息的度量;平均自信息;平均自信息;1. 自信息（量） （续2）;1. 自信息（量） （续3）;1. 自信息（量） （续4）;;1. 自信息（量） （续6）;1. 自信息（量） （续7）;1. 自信息（量） （续8）;1. 自信息（量） （续9）;解： p(xi yj )=1/64 i=1,2,…,8; j= 1,2,…,8 （1） I(xi yj)= – logp(xi yj )= 6 比特 （2） I(xi | yj)= – logp(xi | yj ) = – log[p(xi yj )/ p(yj )]=3 比特 I(xi ) = – logp(xi)= 3 比特 I(yj) = 3 比特 ;2. 互信息（量）;2. 互信息（量） （续1）;2. 互信息（量） （续2）;2. 互信息（量） （续3）;2. 互信息（量） （续4）;2. 互信息（量） （续5）;2. 互信息（量） （续6）;2. 互信息（量） （续7）;平均自信息;2. 互信息（量） （续9）;2. 互信息（量） （续10）;2. 互信息（量） （续11）;3) 任何两个事件之间的互信息不可能大于其中任一事件的自信息;例6：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ ;2. 互信息（量） （续14）;2. 互信息（量） （续15）;2. 互信息（量） （续16）;2. 互信息（量） （续17）;第二章：信息的度量;1. 平均自信息的概念;自信息和互信息;1. 平均自信息的概念（续2）;1. 平均自信息的概念（续3）;1. 平均自信息的概念（续4）;解： 1)由信息熵定义，该信源输出的信息熵为 ;1. 平均自信息的概念（续6）;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;自信息和互信息;（6）递增性（递推性);自信息和互信息;自信息和互信息;;;;但是;上凸性的几何意义： 在上凸函数的任两点之间画一条割线，函数总在割线的上方. 上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。;自信息和互信息;自信息和互信息;自信息和互信息;;3. 联合熵和条件熵;3. 联合熵和条件熵（续1）;;3. 联合熵和条件熵（续3）;1);3. 联合熵和条件熵（续5）;;5);3. 联合熵和条件熵（续8）;3. 联合熵和条件熵（续9）; 引入事件的重量，度量事件的重要性或主观价值。 ;3. 联合熵和条件熵（续11）;3. 联合熵和条件熵（续12）;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;2. 平均互信息的性质;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;第二章：信息的度量;练习题1 已知：X为随机变量， 判断： ？ ;第二章：信息的度量