第2章信源与信源熵例析.ppt

第2章　信源及信源熵 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 冗余度 2.5 连续信源熵和互信息 复习信息的概念 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。 如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，那么一旦出现某个符号就给观察者提供了信息。 因此，应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2.1 信源的描述和分类 按信源在时间和幅度上的分布情况 离散信源：文字、数据、电报 连续信源：语音、图像 按发出符号的数量 单个符号信源：指信源每次只发出一个符号代表一个消息 符号序列信源：指信源每次发出一组含二个以上符号的符号序列代表一个消息 按符号间的关系 无记忆信源 有记忆信源 信源分类 概率空间 概率 随机现象中事件发生的可能性大小是客观存在的，因此可以对它进行量度。量度的数量指标就是概率。 样本空间 某事物各种可能出现的不同状态，即所有可能选择的消息集合。 每个可能选择的消息是这个样本空间的一个元素。 概率空间 对于离散消息的集合，概率测度就是对每一个可能选择的消息指定一个概率。 一个样本空间和它的概率测度一起构成一个概率空间。 概率空间 数学定义　 一个离散信源发出的各个符号消息的集合