信息论与编碌碾-第3讲-第2章信源及信息度量(最新).pptVIP

信息论与编码理论基础 第3讲 互信息量和条件互信息量 主讲 刘 巧 平 延安大学物电学院 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 练习 1、设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2、 信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3、设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为？ xi已知时发生yj的条件自信息量为I(yj/xi)又定义为？ 4、自信息量、条件自信息量和联合自信息量之间的关系是什么？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 本讲主要内容： 1、互信息量的定义 2、互信息量的三种表达式 3、互信息量的物理意义 4、互信息的性质 5、条件互信息量的定义 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 本讲重点： 1、理解互信息量的定义及表达式 2、熟悉互信息量的物理意义 3、掌握互信息的性质 本讲难点： 互信息量的定义及三种不同表达式 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 1、 互信息量 A、互信息量定义 B、互信息量的单位 C、互信息量的三种不同表达式 D、互信息量的物理意义 E、互信息量的性质 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 【思考】当接收端收到某个消息后，能确定它是由发送端发出的某个消息得到的吗？ 后验概率的引入 由于实际通信中存在干扰，假设接收端收到消息为yj，yj可能与xi相同，也可能不同，则需要利用后验概率p(xi|yj)反映接收端收到消息yj而发送端发出的是xi的概率。接收端收到yj后，发送端发出的是否为xi尚存在的不确定性为确定性应为 A 互信息量定义 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 在接收端收到yj后，已经消除的不确定性为先验的不确定性减去尚存在的不确定性。接收端获得的信息量 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 【定义】对两个离散随机时间集X和Y，事件yj的出现给出关于xi的信息量，即为互信息量。 【说明】互信息量I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 A