第2章 信源与信息熵1.pptVIP

第二章 信源及信源熵 本章重点:离散/连续信源熵和互信息 本章难点:离散序列有记忆信源的熵 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 连续信源的熵和互信息 2.4 离散序列信源的熵 2.5 冗余度 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。 发出单个符号的信源是指信源每次只发出一个符号代表一个消息。 发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。 举例 例1. 二进制对称信源输出0的概率是p,则其概率空间怎样描述？ 例2. 随机掷一个无偏骰子，可能出现的点数与其概率分布是什么？ 例3. 同时掷一对质地均匀的骰子，要得知 　“两骰子面朝上点数之和”描述这一信源的数学模型分别是什么。 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 必须掌握的概率论知识  [转化] 设X取值{ x1, x2, …,xi, … ,xn}， Y取值{ y1, y2, …,yj, … ,ym}，则 ＊联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率 ＊条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 ＊条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率 思考例题 已知信源X包含x0、x1两种消息，其出现概率 p(x0)=p(x1)=0.5 ，这两种消息在有干扰的二 元离散信道上传输。信宿Y收到的消息集合Y 包含y0、y1两种消息，给定信道的传输概率: p(y0/x0)=0.98, p(y1/x0)=0.02； p(y0/x1)=0.2, p(y1/x1)=0. 8。 求：在该信道上传输的 （1）平均互信息量； （2）可疑度； （3）噪声熵。 单符号离散信源的数学模型 符号(消息)xi—随机事件—不确定性(概率角度) p(xi)——X取值xi的概率(先验概率) 1.自信息量 [定义] 若信源发出符号xi，由于信道无干扰，收到的就 是xi本身，用I(xi; xi)表示，或简单记作I(xi)，并 称为自信息量。一个随机事件的自信息量定义为 其出现概率对数的负值。即: I(xi)= –log？p(xi) bit (nat, det / Hart) [单位]自信息量的单位与所用对数的底有关： 2 ，单位为比特 — bit(binary unit) e ，单位为奈特— nat(nature unit) 10，单位为笛特或哈特— det (decimal unit) or Hart (Hartley) [常用单位] bit, 对应符号log2 、 log 、 lb [单位换算] 1 nat = log2 e ≈ 1.4427 bit 1 det = log2 10≈ 3.322 bit [含义] ①事件xi发生以前，表示事件发生的先验不确定性 ②当事件xi发生以后，表示事件xi所能提供的最大信息量 （在无噪下） [性质] I(xi)= –log2 p(xi) ,I(xi)是xi的函数,是一个随机量 ①当p(xi) =0时， I(xi) →∞ ，不可能事件 当p(xi) =1时， I(xi) →0 ，确定事件 ②非负性 ③单调递减性 ④可加性 I(xiyj) = I(xi