信息论与编码_第2章信息的度量.pptVIP

信息论与编码 Information and Coding Theory 王永容 机械与电气工程学院 wangyr416@126.com 2011年3月 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 2.1 信源的数学模型及分类 消息 由符号、文字、数字、语言、音符、图片、图像等能够被人们感知器官所感知的形式组成的序列。 信息 信息是包含在消息中的内容和意义，是通信系统传输的本质。 信号 把消息变换成适合信道传输的物理量，这种物理量称为信号。如电信号、光信号、声信号、生物信号等。 三者关系 通信系统传输的是信号，信号携带着消息，消息中包含着信息。 信源 信源输出的消息用m表示。全体符号称为（语言的）符号集或字母集. 按照信源发出的时间和消息的分布分类 离散信源：信源发出消息的时间与消息的表示形式都是离散的。 如：计算机输出的代码、文稿、人写的书信等 连续信源：信源发出消息的时间与消息的表示形式都是连续的。 如：语音、图像、图形等 符号集（或字母集）A＝{a1, a2,…,an}. 信源任何时刻输出的消息是A上的一个离散随机变量X 2.1 信源的数学模型及