信息论基础与编码 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 作者 王军选 田小平 曹红梅 02章.pptVIP

第二章 信源与信息熵 2.1 信源的数学模型及分类 2.2 离散信源熵和互信息 2.3 信息熵的性质 2.4 离散序列信源熵 2.5 连续信源熵与互信息 2.6 信源的冗余度 2.1 信源的数学模型及分类 信源分类 连续信源 信源 离散无记忆信源 离散信源 离散有记忆信源 离散无记忆信源：包括发出单个符号的无记忆信源和发出符号序列的无记忆信源两种。 离散有记忆信源：包括发出符号序列的有记忆信源和发出符号序列的马尔可夫信源两种。 各个符号的先验概率为： 2.2 离散信源熵和互信息 2.2.1 信息量 在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息却含有更多的信息。消息中的信息量与消息发生的概率紧密相关，消息出现的概率越小，则消息中包含的信息量就越大。 为了计算信息量，消息中所含信息量I与消息出现的概率p(x)间的关系式应当反映如下规律： ① 消息中所含信息量I是出现该消息的概率p(x)的函数，即 ② 消息出现的概率越小，它所含的信息量越大；消息出现的概率越大，它所含的信息量越小；且当p(x)?=?1时，I?=?0。 ③ 若干个