2.2 多符号离散信源的.ppt

第2章 信源熵 相比一张哈弗大学的文凭，养成良好的习惯对一个人的成功更重要。 ——比尔.盖茨 本章主要内容 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵 本节教学内容、基本要求 1、教学内容 多符号离散序列信源及其熵 马尔可夫信源及其熵 信息的冗余度 2、基本要求 掌握多符号离散序列信源熵的定义、性质 掌握马尔可夫信源熵的模型及其计算 掌握信息冗余度的含义 2.2 多符号离散平稳信源及熵 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。 如电报系统。 在信源输出的序列中，每一位出现哪个符号都是随机的，这种信源称为多符号离散信源。 二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源称为二元无记忆信源的二次扩展信源; 相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N次扩展信源。 如信源序列：000、001、….111 称为二元信源的3次扩展信源。 二元信源的N次扩展信源： n元信源的N次扩展信源（多符号离散信源）的定义： 输出消息长度为N，消息中的每个符号取自集合X，X中有n个单符号消息，则X的N次扩展信源记作：XN，用N维矢量表示： 平稳随机序列： 所谓平稳是指序列的统计性质与时间的推移无关。 非平稳随机序列：信源每发一个符号的概率与时间起点有关。 离散无记忆信源：信源序列的前后符号之间是统计独立的。 离散有记忆信源：信源序列的前后符号之间是相关的。 序列信息的熵 序列信息的熵（也称：离散无记忆信源的N次扩展信源的熵） 原始信源X的数学模型 XN的数学模型： H(XN)=NH(X) 证明：略 例2.2.1：p40页 求一个信源的二次扩展信源及其熵。 注意：单位 离散平稳有记忆信源的N次扩展信源的熵 离散平稳有记忆信源的N次扩展信源的熵 离散有记忆信源的N次扩展信源：信源输出的符号相关，且相关性用N个符号间的联合概率表示。 离散平稳有记忆信源的N次扩展信源（记忆长度为N）的熵满足： 例2.2.2：p44,设某二维离散信源X2=X1X2的原始信源X的模型为 符号间的相关性用以下的条件概率（转移概率）表示： 求原始信源熵H(X),条件熵H(X2|X1)，二次扩展信源熵及其平均符号熵。 解： N维离散有记忆信源的极限熵 （也称为：离散平稳有记忆信源的N次扩展信源的极限熵） 马尔可夫信源的极限熵 在许多信源的输出序列中，符号之间的依赖关系是有限的。 即：任何时刻信源符号发生的概率只与前面已经发出的若干符号相关，而与更前面发出的符号无关。 如：随机变量序列中， (m+1)时刻发出的随机变量Xm+1只和前面已经发出的m个随机变量X1 X2 ……Xm有关，而与更前面的随机变量无关。 Xi取值于单符号信源符号集合X 这类信源称为m阶马尔可夫信源。 m阶马尔可夫信源每次只发一个符号，每次发出的符号只与之前发出的m 个符号相关。 马尔可夫信源的组成需要两个条件： （1）某时刻信源输出的符号只与之前的m个符号相关，这m个相关的符号称为”信源前一时刻所处的状态”。 m阶马尔可夫信源在时刻i发符号 （2）某时刻信源所处的状态由该时刻输出的符号和前一时刻的状态唯一确定。 m阶马尔可夫信源的数学模型： 且满足 m阶马尔可夫信源的熵： ： 则： 例：已知一个二进制一阶马尔可夫信源，信源符号集合为X=(0，1)，符号间的条件概率为 P(0/0)=0.25 P(1/0)=0.75 P(0/1)=0.5 P(1/1)=0.5 求状态转移概率和状态转移图，信源熵。 解：因为是二进制一阶马尔可夫信源 所以状态空间Si (或Sj) 共包含nm=21=2种状态：s1=0,s2=1,状态转移概率为 P(s1/s1)=0.25 P(s2/s1)=0.75 P(s1/s2)=0.5 P(s2/s2)=0.5 状态转移图如下： 该一阶马尔可夫信源极限熵为： 状态概率： 例2.2.4：P48,已知一个二进制二阶马尔可夫信源，信源符号集合为X=(0，1)，状态转移图符合： P(0/00)= P(1/11)=0.8 P(1/00)= P(0/11)=0.2 P(0/01)= P(1/01)=