第2章信源与信源熵选读.ppt

第2章　信源及信源熵 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 冗余度 2.5 连续信源熵和互信息 复习信息的概念 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。 如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，那么一旦出现某个符号就给观察者提供了信息。 因此，应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2.1 信源的描述和分类 按信源在时间和幅度上的分布情况 离散信源：文字、数据、电报 连续信源：语音、图像 按发出符号的数量 单个符号信源：指信源每次只发出一个符号代表一个消息 符号序列信源：指信源每次发出一组含二个以上符号的符号序列代表一个消息 按符号间的关系 无记忆信源 有记忆信源 信源分类 概率空间 概率 随机现象中事件发生的可能性大小是客观存在的，因此可以对它进行量度。量度的数量指标就是概率。 样本空间 某事物各种可能出现的不同状态，即所有可能选择的消息集合。 每个可能选择的消息是这个样本空间的一个元素。 概率空间 对于离散消息的集合，概率测度就是对每一个可能选择的消息指定一个概率。 一个样本空间和它的概率测度一起构成一个概率空间。 概率空间 数学定义　 一个离散信源发出的各个符号消息的集合为 概率论复习 无条件概率P(xi) 又称先验概率，指基于以往数据记录统计得到的概率 条件概率P(B/A) 在已知事件A发生条件下，事件B发生的概率 又称后验概率 联合概率P(AB) 事件A和事件B同时发生的概率 概率论复习 概率论复习 单个符号的离散无记忆信源 有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。 如书信文字、计算机的代码、电报符号、阿拉伯数字码等。 例如：掷骰子 扔一颗质地均匀的骰子，每次扔掷的结果必然是 1点～6点中的某一面朝上，哪一面朝上是随机的。 单个符号的离散无记忆信源 用一维离散型随机变量X来描述这些信息的输出。 数学模型 单符号连续无记忆信源 连续信源：输出在时间和幅度上都是连续分布的连续消息的信源。 单符号连续无记忆信源 消息数无限或不可数，且每次只输出其中一个消息。可用一维的连续型随机变量X来描述这些消息。 数学描述 例：随机取一节干电池测其电压值作为输出符号，符号取值为[0，1.5]之间的所有实数。 符号序列的离散无记忆信源 很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。 设信源输出的随机序列为X， 序列中的变量 即序列长为L 扔骰子：以三位二进制符号表示结果 符号序列的离散无记忆信源 最简单的符号序列信源是L＝2的情况，即 信源： 信源空间： 当信源无记忆时， 符号序列的离散无记忆信源 二元信源｛0,1｝ 单符号离散信源 二次扩展信源 三次扩展信源 三元信源｛0,1,2｝ 三元二次扩展信源 符号序列的离散无记忆信源 L次扩展信源 每个随机变量取值有n种，那么序列长为L的随机序列，其样值共有nL种可能取值。这种由信源X输出的L长随机序列X所描述的信源叫做离散无记忆信源X的L次扩展信源。 数学描述 其中， 离散有记忆信源 一般情况下，信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量xl之间是有依赖关系的。 如：袋中摸球 　　文字序列的前后关系 表述有记忆信源比表述无记忆信源困难得多 离散有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 离散有记忆信源 例如由英文字母组成单词，字母间是有关联性的，不是任何字母的组合都能成为有意义的单词。 例如布袋中有100个球，80个红球，20个白球。先取出一个球，记下颜色后不放回布袋，接着取另一个。 取第一个球时的概率 p(红球)= ，p(白球)= 若第1个球为红色，则取第二个球时的概率 p(红球)= ，p(白球)= 若第1个球为白色，则取第二个球时的概率 p(红球)= ，p(白球)= 离散有记忆信源 有记忆信源的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。 马尔可夫信源 马尔可夫信源（相对简单的离散平稳信源） 信源在某一时刻发出符号的概率除与该符号有关外，只与此前发出的有限个符号有关。 若把这有限个符号记作一个状态S，则信源发出某一符号的概率除与该符号有关外，只与该时刻信源所处的状态有关。 在这种情况下，信源将来的状态及其送出的符号将只与信源现在的状态有关，而与信源过去的状态无