信息论与编码技术 978-7-302-14655-1 chap2新.pptVIP

第二章 信源及其熵 本章介绍 信源的统计特性和数学模型 各类信源的信息测度----熵及其性质 引入信息理论的一些基本概念和重要结论 第一章的几个推论 通信系统模型： 2.1 信源的数学模型及分类 单符号信源：输出是单个符号（代码）的消息 离散信源 连续信源 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关----平稳！ 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 随机波形信源 离散信源(单符号) 特点：输出是单个符号（代码）的消息，符号集的取值A:{a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。 例：投硬币、书信、电报符号等等。 数学模型：设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,…,q) 满足： 连续信源 特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即： 平稳随机序列信源 总体特点： 信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与