2014年秋信息论课件第2章_信源与信息熵.ppt

信息论基础B第2章 信源与信息熵 任课老师：干宗良 博士(讲师) 江苏省图像处理与图像通信重点实验室 本章教学大纲要求 本章教学大纲要求 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性 2.1信源的描述与分类 分类 离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源 2.1信源描述与分类 描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 离散序列信源 当p=1/2 连续信源 离散无记忆序列信源 离散有记忆序列信源 马尔可夫信源 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。 什么是随机实验？ 什么是随机过程？ 什么是平稳随机过程？ 为什么噪声总是用高斯过程描述？ 马尔可夫信源 当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。 马尔可夫信源 什么是马尔可夫过程？ 什么是齐次马尔可夫过程？ 转移概率矩阵？ C-K方程 如何描述马尔可夫信源 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态： 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si) 更一般，经过n-m步后转移至sj的概率 马尔可夫信源 系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移转移矩阵为 k步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态i转移到状态j的概率与m无关，则称这类MarKov链为齐次 对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。 马尔可夫信源 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj 不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)0. 非周期性，所有pii(n)0的n中没有比1大的公因子。 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 Eg1 一个相对编码器，求平稳分布 Eg2 二阶马氏链，X?{0,1},求平稳分布 2.2 离散信源熵和互信息 主要内容： 自信息量 离散信源熵 互信息 数据处理中的信息变化 熵的性质 信息 不确定性的消除 信息的度量 随机性、概率 相互独立符合事件概率相乘、信息相加 熵 事件集的平均不确定性 直观推导信息测度 信息I应该是消息概率p的递降函数 由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性） 定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit 有书上也称为哈脱来（haitely） 定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为： 联合自信息、条件自信息与自信息间的关系 自信息量的特性 （讨论） 取值范围 多个符号间的自信息量的关系 Eg1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为 离散信源熵 Eg2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：随机事件的概