[工学]第二章信息量.ppt

信息论基础Fundaments of Information Theory 武汉科技大学信息科学与工程学院 第二章 信息量 信源的数学模型与分类 离散信源和信息测度 信息熵及其性质 离散无记忆信源的信息熵 马尔可夫信源 信源数学模型与分类 信源研究的方法： 信源数学模型与分类 信源的分类： 主要根据输出消息的随机性质进行分类。 信源数学模型与分类 信源的分类： 如果输出是一个符号，随机变量 离散单符号信源：消息取值的数目有限. 例：掷一个骰子 连续单符号信源：消息取值的数目无限. 例：某一时刻的温度 信源数学模型与分类 信源的分类： 如果输出是一串符号，随机序列 信源数学模型与分类 信源的数学模型： 信源发出消息具有随机性 －在信源发出消息之前，消息是不确定的 信源数学模型与分类 为了表示一个随机量，用随机量的的样本空 间及其概率空间来描述 可能输出的所有消息 各种消息的可能性 信源数学模型与分类 例 掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。 信源数学模型与分类 说明： 不同的信源，对应与不同的数学模型。即不同的信源概率空间。 用概率空间来表示信源的数学模型，有一个必要的前提，这就是信源可能发出的各种不同符