《信息论》教学课件合集（第2~6章）.pptx

第二章 信息的度量;第2章 信息的度量;本章学习内容;本节学习内容;概率论知识复习;例 掷骰子 1 以下几种情况中,基本事件:骰子朝上面的点数,求样本空间的大小,或样本点的数量 掷一个骰子 掷两个骰子 掷 n个骰子 2 以上几种情况中,骰子同时朝上面的点数5的概率 掷 一个骰子 掷 两个骰子 掷 n 个骰子;必须掌握的概率论知识;3)全概率： 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： 4)Bayes公式: 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： ;例1 某公司的系统产品中有一种设备是有三个厂家提供的，比例为一厂的占30%，二厂的占50%，三厂的占20%，又知这三个厂生产这种设备的次品率分别为2%，1%，1%,求从这批进货中任取一件设备做检验的次品的概率？; ; ;例2：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而且女孩中身高1.6m以上的占总数的一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问该消息发生的概率？;设事件A为女孩是大学生，事件B为女孩身高1.6米以上。 根据题意则知P(A)=0.25,P(B)=0.5,P(B/A)=0.75 “身高1.6m以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为P(A/B). 根据贝叶斯定律可得;14;2.1.1 自信息量 一个事件的自信息量就是对其不确定性的度量. 信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量 将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即 I(x)=f[q(x)] ; 直观地看，自信息量的定义应满足以下四点：;综合上述条件，将自信息量定义为: 定义2.1.1 随机事件的自信息量定义为该事件发生概率的对数的负值。设事件x的概率为p(x)，则它的自信息量定义为： I(x)=-logp(x)=log(1/p(x)) ;自信息量I(x)代表两种含义：;三种信息量单位之间的换算： 1 det = log2 10 ≈ 3.322 bit 1 bit ≈ 0.6931 nat 1 bit ≈ 0.3010 det 1 nat = log2 e ≈ 1.4427 bit 在信息论中常用以2为底的对数，为了书写方便，以后将log2书写为log，因其单位为比特bit，不会产生混淆； 注意有些文献将log2书写为 lb;;2.1.2联合自信息量与条件自信息量 1o 联合自信息量 定义 若有两个消息xi ， yj同时出现，用联合概率p(xi yj) 表示，联合自信息量为 I(xi yj) =－log p(xi yj) ; ;例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的按下列方案放在棋盘中的某方格且让乙猜测棋子所在位置。 （1）?将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。 （2）将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。问猜测的难易程度。;解：设棋子位置为xi yj, p(xi yj )=1/64 i=1,2,…,64; （1） I(xi yj)= – logp(xi yj )= （2） 设行号为xi，列号为yj，且已知列号，即： I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )] = -log[(1/64)/(1/8)]=3 比特 物理含义;练习：;课后习题; ;第二章 信息的度量（2）;2.2互信息量;其间信源X和信宿Y的数学模型为： 在系统中， 若信道是无噪的，收到信息y后，即可获得信息量I(x)。 若信道存在噪声，在接收端收到y后重新估计信源发出的各个消息→p(xi∣yj)。我们称之为后验概率。 ;因此，我们称： 先验概率：信源发出消息xi的概率P(