第3章 离散信源分析.pptVIP

N次扩展信源的信源熵 【定义】离散平稳、无记忆信源X的N次扩展信源的熵,即N个符号序列组成的序列信源熵为 N次扩展信源的信源熵 N次扩展信源熵的计算 【定理3-1】 离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即 H(XN) = NH(X) 扩展信源中，平均每一个符号（即长度为N的序列）上带有的信息量是原信源中平均一个符号上带有信息量的N倍。 证明 说明 N次扩展信源熵的例子 方法一 方法二 【例3-8，P33】接例3-6，求X的二次扩展信源的熵。 比特/符号 比特/符号 计算扩展信源熵时，不必构造新的信源，可直接从原信源X的熵导出，即一个离散平稳无记忆信源X的N次扩展信源的熵等于信源X熵的N倍。 源X的熵和序列信息熵的单位都是比特/符号。但两个单位中符号的意义不同； 信源X熵是指某一个符号，而序列信息的熵是指符号序列。 结论 说明 3.4 马尔可夫信源（有限记忆信源） 3.4.1 马尔可夫信源的定义 3.4.2 有限状态马尔可夫链 3.4.3 马尔可夫信源的马尔可夫链性质 3.4.4 马尔可夫信源的熵 3.4.1 马尔可夫信源的定义 【定义3-5 】 在信源X中，如果将要出现的符号仅与刚刚出现的m个符号有关，与更早出现的符号无关，则称X为m阶马尔可夫信源，即 马尔可夫信源是一种有限记忆长度的离散信源； 信源输出的消息可以是非平稳的随机序列、也可以是平稳的随机序列； 工程实践中遇到有记忆信源多为马尔可夫信源。 说明 显然这是一个2阶马尔可夫信源，因为将要出现的符号只与前面的两个符号有关。 信源发出序列是 【例3-9，P34】信源X={0, 1, 2, 3}，信源将要发出的符号是前面两个符号的和对4的余数，即 每一个将要发出的符号只与前面的两个符号相关，将这两个符号连在一起，看做一个整体，我们把它叫做“状态”。 “状态”是马尔可夫信源中的一个重要概念，m阶马尔可夫信源的状态由m个信源符号构成。 马尔可夫信源中符号对符号序列的依赖关系就变为状态对状态的依赖关系，即 其中 说明 3.4.2 有限状态马尔可夫链 【定义3-6 】 一个状态序列：S1, S2, …, Sl, …，若满足以下条件： 有限性：可能的状态数目J∞，即只有有限个可能的状态； 马氏性：系统将要达到的状态，只与当前的状态有关，与更早的状态无关，即 则称此随机状态序列为有限状态马尔可夫链。 系统将要达到的状态，仅与当前刚刚输出的状态有关，与更前面的状态（过去的状态）无关。 这种特性称为马尔可夫链特性。 马尔可夫链并不是信源，它体现的是一种“一环扣一环”的性质。 说明 描述马尔可夫链的数学工具 状态转移矩阵 表示由状态Sk转移为状态Sl的概率 状态转移矩阵中每一行的和等于1 状态转移图 状态有J个； 概率有J×J个 J×J矩阵 则状态转移图为 可见状态转移矩阵和状态转移图之间有一一对应的关系。 【例3-10，P35】一个系统有2个状态{S1, S2}，状态转移矩阵为 3.4.3 马尔可夫信源的马尔可夫链性质 m阶马尔可夫信源中1个符号对m个符号的依赖关系转换为状态和状态之间的“一环扣一环”的关系； 因此马尔可夫信源是具有马尔可夫链性质的信源； 因此可以用状态转移矩阵和状态转移图，来描述马尔可夫信源； 由此可以给出马尔可夫信源的另一个定义： 说明 【定义3-7】 若信源输出的符号和状态满足下列条件，则称此信源为m阶马尔可夫信源。 某一时刻，将要出现的信源符号只与当时信源所处的状态有关，与以前的状态无关，即 信源的状态只由当前输出符号和前一时刻信源的状态唯一确定，即 【例3-11，P36】接例3-9，因为二阶马尔可夫信源X={0,1,2,3}有4个符号，因此该信源共有nm=42=16个状态，其状态转移矩阵即状态转移图为 00 02 22 20 12 10 01 31 11 23 30 03 13 33 21 32 3.4.4 马尔可夫信源的熵 马尔可夫信源不一定是平稳的，即输出的状态序列与系统的初始状态有关。 1、平稳马尔可夫信源 【例3-12，P36】接例3-11，信源X={0, 1, 2, 3}，信源将要发出的符号是前面两个符号的和对4的余数。 结合状态转移图可以知道，信源的初始状态不同，产生的状态序列是不一样的； 直接导致状态分布和信源分布发生变化； 从而，信源熵发生变化。 初始 状态 状态 序列 状态分布 符号 序列 信源分布 信源熵 （比特/符号） 00 00 000000