信息论基本概念.ppt

第二章 信息论的基本概念 第一节 信源的描述和分类 第二节 离散信源的信息论概念 第三节 离散信源的熵 第一节 信源的描述和分类 一、香农信息论的基本出发点 用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。 二、信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 { 信源 离散信源 连续信源 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 离散信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 发出单个符号的无记忆信源 发出单个符号的信源是指信源每次只发出一个符号代表一个消息； 发出符号序列的无记忆信源 发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息,各个符号之间统计独立。 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联的。 三、先验概率及概率空间的形式 符号 的先验概率 一个离散信源发出的各个符号消息的集合为 ，它们的概率分别为 为符号 的先验概率。通常把它们写到一起，称为概率空间 显然有 问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？ 第二节 离散信源的信息论概念 定义：一个随机事件的自信息量定义为其出现概率对数的负值。即: （一） 自信息量 自信息量 a. 因为概率 越小， 的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于 是随机出现的，它是X的一个样值，所以是一个随机量。而 是 的函数，它必须也是一个随机量。 说明： 自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit），用log2或lb表示； 若取自然对数，则信息量的单位为奈特（nat），用loge或ln表示； 若以10为对数底，则信息量的单位为哈脱莱(Hartley)，用log10或lg表示。 这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l Hartley ＝log210 3.322 bit 几个例子： i. 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。 iii.英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - lb0.105=3.25 bit “c”的自信息量 I（c）= -lb0.023=5.44 bit “o”的自信息量 I（o）= -lb 0.001＝9.97 bit 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 不确定度 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小