信息论与编码课件第二章2.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫平均自信息量？ 什么叫信源熵（熵） 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 2.2.1 自信息量 1、 自信息量的定义 设离散信源X，其概率空间为 自信息量 2、自信息量I (xi) 含义: 当信息xi发生以前,表示信息xi 发生的不确定性 当信息xi发生以后,表示信息xi所含有的信息量 自信息量单位的确定 在信息论中常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det) 1 nat＝log2e ≈ l.433 bit， l det＝log210≈3.322 bit 自信息量 3、不确定度 定义： 信息的不确定度在数量上等于它的自信息量。 说明: 两者的单位相同，但含义却不相同。 信息发生前，存在的不确