信息论与编码第二章.pptVIP

从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。 本章首先讨论信源，重点是其统计特性和数学模型，以及离散信源的信息测度——熵及其性质。引入信息理论的一些基本概念和重要结论。 第二章 离散信源 §2.1 信源的数学模型及分类 只研究信源的输出，以及信源输出各种可能消息的不确定性。 离散信源：信源可能发出的不同符号数是有限的，或是无限可列的； 连续信源：消息的取值是连续的，即可能出现的消息数是不可数的无限值。 样本空间：信源输出所有消息的集合信源空间：样本空间+概率 （概率空间）完备性描述： 用离散型随机变量或随机矢量来描述信源输出的消息 用连续型随机变量来描述这些消息 离散信源的简单情形是信源发出的消息是由单个符号构成的。掷骰子的结果作为信源消息，则就构成了一个这样的信源，其概率空间为： 箱中有赤、橙、黄、青、兰、紫六种颜色的32只彩球，其中赤16球，澄8球，黄4球，青2球，蓝、紫各1球。有放回抽取： §2.2离散信源的自信息和信息熵 2.2.1 自信息 问题：信源发出某一符号ai后，能提供多少信息量？ 信息如何进行度量？ 收到某消息获得的信息量=不确定性减少的量=收到bj前、后对某事件ai存在的不确定性消除的量