信息论与编码课件(铁道) 3.pptVIP

第三章 信源与信息熵 3.1 信源分类及其数学模型 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源(了解) 3.6 信源的相关性和剩余度 3.7 连续信源及其熵(了解) 3.1 信源分类及其数学模型 一、信源分类 1、平稳的概念： 在数学上，如果各维随机变量的概率分布不随时间的推 移而变化，则称该随机过程是平稳的；否则是非平稳的。 2、本课程讨论的主要内容： 一个实际的信源统计特性相当复杂，要想找到精确的数 学模型很困难。实际应用时常常用一些可以处理的数学模型 来近似。比如：语音信号就是一个非平稳的随机过程，但常 常用平稳随机过程来近似。 注意：本课程讨论的信源均是平稳的 3、信源的分类： 从信源所发消息是否连续，可划分为： 1）离散信源 指能发出离散消息的信源。离散消息由一系列的离散符号 组成的时间或空间序列来表示。例如：英语可以看成由一个个 单独的英文字母组成。汉字文章也可以看成由一个个单独的汉 字组成。这些英文字母和汉字在时间在是分开的，所以说它们 在时间上是离散的。 2）连续信源 指发出的消息是某一随机过程中的一个样本函数，它是一 个时间上的连续函数，比如语音信号、电视信号就是连续信 号 。 二、离散信源的数学模型 显然， 满足完备性。 三