第2章-信息论基概念1.pptVIP

第一节 信源的描述和分类 第二节 离散信源的信息论概念 问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？ （一） 自信息量 （一） 自信息量 I（信息量）＝不确定程度的减少量 d. 自信息量单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit），用log2或lb表示；（ bit /符号） 若取自然对数，则信息量的单位为奈特（nat），用loge或ln表示；（nat/符号） 若以10为对数底，则信息量的单位为哈脱莱(Hartley)，用log10或lg表示；（hartley/符号） 若对数底为r，则信息量的单位为r进制用单位/符号。 这三个信息量单位之间的转换关系如下： 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - l