2013.信息论.第3章节离散信源.ppt

第3章 离散信源 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源 3.6 信源的相关性和剩余度 作业 3-17，3-24 作业 13，15，16 平均符号熵 ：信源输出为N长符号序列，平均每个符号的熵定义为 极限熵（极限信息熵） 当信源符号序列长度趋于无穷时的平均符号熵 定理：对任意离散平稳信源，若 极限熵代表一般离散平稳有记忆信源平均每发一个符号提供的信息，是考虑了符号相关性的最小值。 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……” (2) 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解：（3） §3.5 马尔科夫信源 3.5.1 有限状态马尔科夫链 定义3.5.1 设 {Xn , n?N+ }为一随机序列，时间参数集N+={0,1,2,…}, 其状态空间S={S1,S2,…SJ}有限或可数，若对所有n ? N+ ，有 则称, {Xn,n?N+ }为马尔可夫链。 状态空间S = {S1,S2,…SJ} 是Xn所有可能取值，也常将状态空间简写成S = {1,2,…,J} 转移概率 m时刻状态Si，经(n-m)步后转移到状态Sj的概率 为描述实际系统状态的转化情况，引入状态转移概率的概念。 ＊基本转移概率（一步转移概率） 一步转移概率pij(m, m+1)记成pij(m) pij(m) = p(Xm+1=Sj|Xm=Si) ＊k步转移概率 k步转移概率pij(m, m+k)记成pij(k) (m) pij(k)(m)=p(Xm+k=Sj|Xm=Si) ＊k步转移矩阵： m时刻的k步转移概率矩阵为 定义3.5.2 如果在马尔可夫链中，pij(m)=P(xm+1=Sj|xm=Si)与时刻m无关，即pij(m)=pij ，则称这一类马尔可夫链为时齐马尔可夫链，齐次马尔可夫链 ，或具有平稳转移概率的马尔可夫链。 时齐马尔可夫链的一步转移矩阵P为 定义： 马尔科夫链在初始时刻的状态概率称为马尔可夫链的初始分布 p(X0=Si)=pi 为完整描述马尔可夫链的统计特性，需知道初始时刻的状态概率和各时刻的一步转移概率。 对于齐次马尔科夫链，已知初始分布和基本转移概率后，可以求得任意时刻的状态分布。 切普曼—科尔莫哥洛夫方程（C-K方程） 设P(n)是时齐马尔可夫链的n步转移矩阵(n?1)， P=P(1)是基本转移矩阵，则 从而有 注意：P(n)是经过n步的转移矩阵。 定义3.5.3 若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限 则称齐次马尔科夫链具有遍历性，pj称为平稳分布，pi为该马尔可夫链的初始分布。 且满足 对于有限状态马尔可夫链，若存在w1,w2,···wr, 满足 则称此马尔可夫链稳态分布存在。 定理3.5.1 稳态分布唯一性定理 设齐次马尔可夫链转移矩阵为P={Pij}, i,j=1,2,···,r，稳态分布为Wj , j=1,2,···,r，则 a. b. 对稳态分布矢量W={w1 w2 ···wr} ，有W=WP c. 当初始分布W(0)=W时，对于所有的n有 W(n)=W d. W是唯一稳态分布，即若存在 定理3.5.2 稳态分布存在定理 设P是齐次马尔可夫链转移矩阵，则 该链稳态分布存在的充要条件是存在一个正整数N,使矩阵PN 中所有元素均大于零。 马尔可夫链的转移矩阵为 稳态分布是否存在，若存在求解。 * 当对信号、数据或消息进行处理时，有可能损失一部分信息。也就是说数据处理会把信号、数据或消息变成更有用的形式，但是决不会创造出新的信息。此即信息不增原理。如果我们想通过Y尽可能多地获得关于X的消息，也就是想增加互信息量，必须付出代价。