第二章信息论的基本概念.pptVIP

2多个随机变量下的互信息本部分内容学生自己推导，作业。第61页，共112页，星期日，2025年，2月5日§2.2.2互信息函数的性质互信息与p(x)的关系性质1：I(P;Q)是P(x)的上凸函数.I(p;Q)pp’信道理解：可以看成信道输入的概率分布第62页，共112页，星期日，2025年，2月5日§2.2.2互信息函数的性质互信息与Q矩阵的关系性质2：I(p;Q)是Q的下凹函数.理解：Q可以看成信道转移概率分布I(p;Q)QQ’信道1信道2信道第63页，共112页，星期日，2025年，2月5日§2.2.2互信息函数的性质互信息与p(x)的相关性的关系性质3:若概率矢量p是离散无记忆的,证明参见傅祖芸“信息论-基础理论与应用（第二版）”p118第64页，共112页，星期日，2025年，2月5日§2.2.2互信息函数的性质互信息与Q的相关性的关系性质4:若条件概率矩阵Q是离散无记忆的,第65页，共112页，星期日，2025年，2月5日§2.2.2互信息函数的性质互信息与p(x)及Q的相关性的关系推论:若概率矢量p和条件概率矩阵Q都是离散无记忆的,2第66页，共112页，星期日，2025年，2月5日证明：因为信源有可能是有记忆信源，所以信道输出之间有可能相互关联第67页，共112页，星期日，2025年，2月5日第68页，共112页，星期日，2025年，2月5日当信源是无记忆信源时，第69页，共112页，星期日，2025年，2月5日第70页，共112页，星期日，2025年，2月5日第71页，共112页，星期日，2025年，2月5日§2.2.3熵VS互信息信息熵是表征随机变量本身统计特性的一个物理量，它是随机变量平均不确定性的度量，是从总体统计特性上对随机变量的一个客观描述。互信息I(X;Y),作为信息量一般是针对观测到另一个随机变量时而言的，是一个相对量，是指观测者从随机变量Y中所获得的关于随机变量X的信息度量。在通信中，互信息是针对接收者而言的，是指接收者收到的关于信源的信息度量，当通信中无干扰时，接收者获得的信息量数量上就等于信源给出的信息熵，但是两者的概念不一样；当信道有干扰时，不仅概念上不一样，而且数量上也不相等。信息熵也可理解为信源输出的信息量。2第72页，共112页，星期日，2025年，2月5日作业二：已知12个球中有一个球的重量与其他球不同，其他球均等重，(1)、用天平称几次可找出此球?(2)、给出一种找出此球的方法，并求：每次称量所减少的不确定性（即获得的信息量）是多少？作业：作业一:一个出老千的赌徒有一枚灌了铅的色子A，它掷出1点的概率是2/3，掷出2至6点的概率各为1/15。不幸的是，他将色子A与另外两枚正常的色子B、C混在一起了。为了区分出A，他随机抽出一枚色子并且掷出了1点，那么他判断这个色子为A的正确概率是多少？他不放心，拿着这个色子又掷了一次，又得到了1点，那么此时他判断这个色子为A的正确概率是多少？第73页，共112页，星期日，2025年，2月5日3、有一离散无记忆信源，其输出为Ｘ｛０，１，２｝，相应的概率为用两个独立的通信系统去传输它，其收到的结果分别为｛０，１｝，｛０,１｝，已知条件概率如下表所列。求和，并判断哪一个通信系统好些。０１０１０１０１２１／２１／２０１０１０１１０２０１第74页，共112页，星期日，2025年，2月5日作业一：已知12个球中有一个球的重量与其他球不同，其他球均等重，1、用天平称几次可找出此球?2、给出一种找出此球的方法，并求：每次称量所减少的不确定性（即获得的信息量）是多少？解1、设“在12个球中有一个球的重量与其他球不同”这事件为,其出现的概率为又设“这个特别球的重量比其它的重量是重或轻”这事件为,其出现的概率为第75页，共112页，星期日，2025年，2月5日第76页，共112页，星期日，2