第二章1信息论与编码.pptVIP

第二章 信源及信源熵;本章重点;信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源 信源的基本特性：具有随机不确定性。;2.1 信源的描述和分类;2.1 信源的描述和分类;三、先验概率及概率空间的形式;2.1.1 无记忆信源;发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息;连续无记忆信源： 输出在时间和幅度上都是连续分布的消息 单符号连续无记忆信源的概率空间;发出符号序列的信源 ;随机序列的概率;一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源;此时需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征 ;离散信源的统计特性;2.1.3 马尔可夫信源;2.2 离散信源熵和互信息;什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ ; 定义：一个随机事件的自信息量定义为其出现概率对数的负值。即: ;自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。 这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit ;二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这两个符号的自信息量为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit; 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 ; 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； 若是确定性事件，出现概率为1，则它包含的不确定度为0。;I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合信息量等于它们分别的信息量之和。 即统计独立信源的信息量等于它们分别的信息量之和。;两个消息xi，yj同时出现的联合自信息量 ;定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值： ;例2－2－1 ;一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 ;其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit;则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）] ;因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源