第2章 信源和信息熵1.pptVIP

第二章 信源及信源熵;一、香农信息论的基本点;连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 ;离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。 发出单个符号的信源是指信源每次只发出一个符号代表一个消息。 发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。 ;三、先验概率及概率空间的形式;举例;问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？;什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ ; ;必须掌握的概率论知识;; ;思考例题;单符号离散信源的数学模型;1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就 是xi本身，用I(xi; xi)表示，或简单记作I(xi)，并 称为自信息量。一个随机事件的自信息量定义为 其出现概率对数的负值。即: I(xi)= –log？p(xi) bit (nat, det / Hart) [单位]自信息量的单位与所用对数的底有关： 2 ，单位为比特 — bit(binary unit) e ，单位为奈特— nat(nature unit) 10，单位为笛特或哈特— det (decimal unit) or Hart (Hartley);[常用单位] bit, 对应符号log2 、 log 、 lb [单位换算] 1 nat = log2 e ≈ 1.4427 bit 1 det = log2 10≈ 3.322 bit [含义] ①事件xi发生以前，表示事件发生的先验不确定性 ②当事件xi发生以后，表示事件xi所能提供的最大信息量 （在无噪下） [性质] I(xi)= –log2 p(xi) ,I(xi)是xi的函数,是一个随机量 ①当p(xi) =0时， I(xi) →∞ ，不可能事件 当p(xi) =1时， I(xi) →0 ，确定事件 ②非负性 ③单调递减性 ④可加性 I(xiyj) = I(xi) + I(yj) (X、Y 独立,因为P(xiyj)=P(xi)P(yj)) I(xiyj) = I(xi) + I(yj/xi) (X、Y 相关,因为(xiyj)=P(xi)P(yj/xi));几个例子; 定义：随机事件的不确定度在数量上等于它的 自信息量． 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； ; [不确定度与自信息量]; [例] 8只灯泡串联,损坏概率相等,有一只坏了,用表查。 ①每只损坏概率1/8，每只损坏的不确定度为3bit ② “中分法”查一次，知坏灯泡在那4只中—— 不确定度为2bit，获信息1bit ③以此类推 [结论]获得的信息量=不确定度的减少量;２．两个消息xi，yj同时出现的联合自信??量 ;定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值： ;例1. 在布袋中放入81枚硬币,它们的外形完全相同.其中80枚硬币重量相同,另一枚硬币略重一些.问要确定随意取出的一枚硬币恰好