信息论与编码电子教案全套课件.pptxVIP

第二章 信 源 熵 单符号离散信源 多符号离散平稳信源 离散无失真信源编码定理 §2.1 单符号离散信源 信源是产生消息（符号）、消息序列（符号 序列）以及时间连续的消息的来源。 信源的主要问题：如何描述信源的输出（信源的建模问题）√怎样确定信源产生的信息量 √信源编码 （后续章节） §2.1 单符号离散信源一、概述⒈ 信息的一般概念一个人获得消息→消除不确定性→获得信息。⒉ 信息度量的定性分析事件发生的概率越大，不确定性越小，该事件包含的信息量越小；事件发生的概率越小，不确定性越大，该事件包含的信息量越大；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。 §2.1 单符号离散信源小结：不确定性的大小与事件发生的概率有关不确定性是概率的函数信息量可以表示为概率的函数。研究信息→建立信源的模型 §2.1 单符号离散信源二、单符号离散信源的数学模型单符号离散信源：输出离散取值的单个符号的信源。单符号离散信源是最简单、最基本的信源，是组成实际信源的基本单元，可以用一个离散随机变量来表示。离散单符号信源X的概率空间：完备性 §2.1 单符号离散信源三、信息量⒈ 概率论的基本公式及性质（P.12)⒉ 信息量⑴ 自信息量的概念有前分析我们可得出：如果p(x1) p(x2)，则I(x1) I(x2)， I(xi )是 p(xi) 的单调递减函数（成反比关系）如果p(xi)=0，则I(xi ) → ∞ ; 如果p(xi)=1，则I(xi ) =0 ; 由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和： I(xi yj)=I(xi )+I(yj) §2.1 单符号离散信源⑵ 自信息量定义为： 随机事件 Xi 的自信息定义为该事件发生概率的对数的负 值：关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特 (Hartley) 一般都采用以2为底的对数， §2.1 单符号离散信源 ⑶ 单位之间的换算关系：1奈特= log2 e 比特=1.443比特 1哈特= log210 比特=3.322比特 ⑷ 自信息量的物理含义：自信息量是事件发生前，事件发生的不确定性。自信息量表示事件发生后，事件所包含的信息量。 ⒊ 联合自信息量定义：二维联合集XY上的元素（xi yj ）的联合自信息量定义为： I(xiyj)=﹣㏒p(xiyj) 0≦p(xiyj) ≦1；∑∑ p(xiyj) =1 §2.1 单符号离散信源⒋ 条件自信息量定义：在联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为： I（xi∣yj)=﹣㏒ p（xi∣yj)同理有： I（yj∣xi)=﹣㏒ p（yj∣xi)及： I(xiyj)=﹣㏒p(xiyj) =﹣㏒ p(xi)p（yj∣xi)= I（xi) + I（yj∣xi) §2.1 单符号离散信源例：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的按下列方案放在棋盘中的某方格且让乙猜测棋子所在位置。（1）?将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。（2）将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。问猜测的难易程度。 §2.1 单符号离散信源解：设棋子位置为xi, p(xi )=1/64 i=1,2,…,64; （1） I(xi yj)= – logp(xi yj )=（2） 设行号为xi，列号为yj，且已知列号，即： I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )] = -log[(1/64)/(1/8)]=3 比特物理含义6比特 §2.1 单符号离散信源四、互信息量和条件互信息量⒈ 互信息量的概念在通信系统中，发送端发出的信息经有噪信道后，在接收端收到的信息量的多少要用互信息量来描述。设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；信源发出的消息，经过有噪声的信道传递到信宿； §2.1 单符号离散信源其间信源X和信宿Y的数学模型为： 在系统中，若信道是无噪的，收到信息y后，即可获得信息量I(x)。若信道存在噪声，在接收端收到y后重新估计信源发出的各个消息→p(xi∣yj)。我们称之为后验概率。0≦p(xi) ≦1∑p(xi)=10≦p(yj) ≦1∑p(yj)=1 §2.1 单符号离散信源因此，我们称：先验概率：