第二章信息论基本概念总结.pptVIP

第二章 信息论的基本概念;第一节 信源的描述和分类;连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 ;离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 ;发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 ;三、先验概率及概率空间的形式; 概率空间;问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？ ;（一） 自信息量; I（信息量）＝不确定程度的减少量 ;c. 因为概率 越小， 的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于 是随机出现的，它是X的一个样值，所以是一个随机量。而 是 的函数，它必须也是一个随机量。 ;d. 自信息量单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit），用log2或lb表示；（ bit /符号） 若取自然对数，则信息量的单位为奈特（nat），