信息论基础-第二、三章.pptVIP

信息论基础-信源及信源熵 第二章 信源及信源熵 2.1 信源的描述与分类 2.2 信源的数学模型 2.3 单符号信源的熵 2.4 联合信源的熵与条件熵 2.5 平均交互信息量 2.6 熵的性质 2.7 离散序列信源的熵 2.8 马尔可夫信源的熵 2.8 冗余度 2.9 连续信源的熵与互信息量 信息论基础-信源及信源熵 第二讲 2.1 信源的描述与分类 2.2 信源的数学模型 2.3 单符号信源的熵 信息论基础-信源及信源熵 上讲回顾: 1、信息是组成客观世界并促进社会发展的最基本的三大要素之一 (三大要素是：物质、能量与信息。三要素中物质是基础 ) 2、信息就是用来消除不确定性的东西，在数量上等于通信前后不确定性的消除量 3、信息的属性 信息论基础-信源及信源熵 1)普遍性; 2)相对性 3)可度量 4)可扩充 5)可存储、传输与携带 6)可压缩 7）可替代 8）可扩散 9）可共享 10）时效性 信息论基础-信源及信源熵 4、通信系统的基本模型 信息论基础-信源及信源熵 从这一章开始，我们从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨论信源，重点是信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。这部分内容是香农信息论的基础。也是本课程的重点 信息论基础-信源及信源熵 ２.1 信源的分类 信源的分类方法