信源及其熵.pptVIP

第2章 信源及其熵 第2章 信源及其熵 2.1 信源的数学模型和分类 2.2 离散信源的信息熵及其性质 2.3 离散无记忆信源的扩展信源 2.4 离散平稳信源 2.5 连续信源的信息熵 2.6 信源的冗余度 2.7 离散无失真信源编码定理 本章介绍 信源的统计特性和数学模型 各类信源的信息测度----熵及其性质 引入信息理论的一些基本概念和重要结论 第一章的几个推论 通信系统模型： 2.1 信源的数学模型和分类 2.1.1 信源的数学模型 信源---随机变量（random variable） 随机矢量（random vector） 随机过程（random process） 概率空间 2.1.2 信源的分类 单符号信源：输出是单个符号（代码）的消息 离散信源 连续信源 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关--平稳stationary 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 随机波形信源 离散信源 discrete source （1）单个符号的离散无记忆信源memoryless （2）符号序列的离散无记忆信源 （3）符号序列的离散记忆信源 （4）符号序列的M