2014年秋信息论课件信息论基础B复习课（1）.ppt

信息论基础B复习课（1）  任课老师：干宗良 博士（讲师）江苏省图像处理与图像通信重点实验室 复习内容 第1章 绪论 第2章 信源与信息熵 第3章 信道与信息容量 第4章 信息率失真函数 信息论 通信系统模型方框图: 狭义信息论体系结构 第2章 信源与信息熵 第2章 信源与信息熵 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性 2.1信源的描述与分类 分类 离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源 2.1信源描述与分类 描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 离散序列信源 连续信源 离散无记忆序列信源 离散有记忆序列信源 马尔可夫信源 马尔可夫信源 系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移转移矩阵为 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj 定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit 有书上也称为哈脱来（haitely） 定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为： 联合自信息、条件自信息与自信息间的关系 单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列 离散信源联合熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列 联合熵、条件熵与熵的关系 单符号离散信源互信息 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特 单符号离散信源互信息 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为： 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为： 熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理 条件熵小于无条件熵 2.2离散信源熵与互信息 平均互信息的性质 非负性 互易性 与熵和条件熵及联合熵关系 极值性 凸性函数性质 信息不增性原理 平均互信息与熵的关系 All Together Now 离散无记忆信源的序列熵 离散有记忆信源的序列熵和消息熵 离散有记忆信源的序列熵和消息熵 结论1 是L的单调非增函数 结论2 结论3 是L的单调非增函数 结论4 马氏链极限熵 幅度连续的单个符号信源熵 波形信源熵 2.4连续信源的熵与互信息 最大熵定理 2.5冗余度 冗余度，表示给定信源在实际发出消息时所包含的多余信息。 它来自两个方面: 一是信源符号间的相关性； 二是信源符号分布的不均匀性 教材page 40 2-13 两个二元随机变量X和Y，它们的联合概率分布函数如下： 定义另一随机变量Z=X·Y（一般乘积），试计算 (1) 熵H(X), H(Y), H(Z), H(X,Z),H(Y,Z),H(X,Y,Z)； (2)条件熵H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z), H(Z|Y),H(X|YZ),H(Y|XZ)和H(Z|XY)； (3)互信息I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和 H(X;Z|Y)。 设离散无记忆信源 其发生的消息为 求：（1）此消息的自信息是多少？ （2）在此消息中平均每个符号携带的信息量是多少？ (3) 该信源的熵 第3章信道和信道容量 重点掌握 信道容量的概念 对称DMC信道