[工学]第2章1信源与信息熵.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 第2章 信源与信息熵 信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 冗余度 2.1　信源的描述和分类 　离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 　连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。　 2.1　信源的描述和分类 2.1　信源的描述和分类 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。这种概率关联性可用两种方式： 2.1信源描述与分类 单个符号的离散无记忆描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 2.1　信源的描述和分类 例如：　　 2.1信源描述与分类 连续信源 2.1　信源的描述和分类 最简单的符号序列信源是N=2的情况,此时 2.1信源描述与分类 离散序列信源 以3位PCM信源为例 2.1信源描述与分类 当p=1/2 2.2　离散信源熵和互信息 不确定性、惊讶度与信息量 在事件发生前有不确定度 在事件发生时有惊讶度 在事件发生后有信息量 当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。 如：9.11事件，美国纽约世贸大厦被炸 2.2　离散信源熵和互信息 从信息源获取信息的过程就是其不确定性缩减的过程 随机事件包含的信息与其不确定性紧密相关 在统计分析中，使用概率作为衡量不确定性的一种指标。 可以推论出：随机事件包含信息的度量应是其概率的函数。 2.2　离散信源熵和互信息 信源X，其概率空间为 2.2　离散信源熵和互信息 2.2.1 自信息量 2.2　离散信源熵和互信息 2.2　离散信源熵和互信息 引入随机事件的不确定度概念。 2.2　离散信源熵和互信息 自信息量具有以下性质： 2.2　离散信源熵和互信息 2.2.1 自信息量 例2-3　英文字母中“e”的出现概率为0.105，“c”的出现概率为０.023，“o”的出现概率为0.001。分别计算它们的自信息量。 2.2离散信源熵与互信息 直观推导信息测度 信息I应该是消息概率p的递降函数 由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性） 2.2离散信源熵与互信息 定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为： 2.2离散信源熵与互信息 联合自信息、条件自信息与自信息间的关系 2.2离散信源熵与互信息 例1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 2.2离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为 2.2.2　离散信源熵 2.2.2　离散信源熵 平均随机摸取一次所获得的信息量则为 2.2.2　离散信源熵 2.2.2　离散信源熵 由于平均不确定度的定义与统计物理学中热熵的形式相似， 且热熵是用来度量一个物理系统的杂乱性（无序性），与这里的不确定度概念相似，所以又把信源的平均不确定度称为信源X的熵。 信源熵是在平均意义上来表征信源的总体特性，它是信源X的函数，一般写成H(X)， X-------随机变量的整体（包括概率空间） 信源给定，概率空间就给定，信源熵就是一个确定值， 不同的信源因概率空间不同，熵值就不同。 2.2.2　离散信源熵 信源X中各符号xi的概率 2.2.2　离散信源熵 例2-5 设信源符号集 2.2.2　离散信源熵 例2-6 电视屏幕上约有 2.2.2　离散信源熵 有一千字文章，假定每字可从万字表中任选，则不同的千字文可以构成多少篇文章（仍按等概率计算）？ 解：按等概率计算，平均每篇千自文可提供的信息量为 2.2.2　离散信源熵 例2-7 二元信源是离散信源的一个特例。该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。即信源的概率空间为可得二元信源熵为 2.2.2　离散信源熵 条件熵 在给定 2.2.2　离散信源熵 2.2.2　离散信源熵 相应的，在给定X（即各个 ） 2.2.2　离散信源熵 联合熵H(X,Y)表示X和Y同时发生的不确定度 联合熵与