第二章基本信息论马尔可夫信源.pptVIP

第二章基本信息论马尔可夫信源第1页，共16页，星期日，2025年，2月5日

一、马尔可夫链信源每一状态下可能输出的符号：设信源所处的状态为：每一时刻信源发出一个符号后，所处的状态发生转移信源输出的随机符号序列为：信源所处的状态序列为：设在第t时刻信源处于状态ei时，输出符号xk的概率给定，为：第2页，共16页，星期日，2025年，2月5日

设信源在t的前一时刻(t-1)时刻处于ei状态，而在时刻t转移到ej状态，转移概率为：上式的条件概率称为马尔可夫链在时刻t的状态一步转移概率第3页，共16页，星期日，2025年，2月5日

若信源输出的符号和所处的状态满足以下两个条件，则称为马尔可夫信源。二、马尔可夫信源的定义1）某时刻信源输出哪个符号只与此时刻信源所处的状态有关，而与以前的状态以及以前的输出符号均无关。第4页，共16页，星期日，2025年，2月5日

2）信源某时刻t所处的状态，由当前的输出符号和前一时刻(t-1)信源所处的状态唯一确定。第5页，共16页，星期日，2025年，2月5日

马尔可夫信源特征的描述方法：状态转移图条件概率状态的一步转移概率第6页，共16页，星期日，2025年，2月5日

三、马尔可夫信源熵若马尔可夫信源的状态数为m，则称为m阶马尔可夫信源m阶马尔可夫信源的熵：第7页，共16页，星期日，2025年，2月5日

eiej第8页，共16页，星期日，2025年，2月5日

有限齐次马尔可夫链的各态历经定理第9页，共16页，星期日，2025年，2月5日

000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第10页，共16页，星期日，2025年，2月5日

000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第11页，共16页，星期日，2025年，2月5日

000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8根据状态转移图、条件概率矩阵或状态一步转移概率矩阵，可写出：解：第12页，共16页，星期日，2025年，2月5日

000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第13页，共16页，星期日，2025年，2月5日

000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第14页，共16页，星期日，2025年，2月5日

第15页，共16页，星期日，2025年，2月5日

表示马尔可夫信源稳定后，其极限熵=各状态的极限概率各状态发出的符号形成的无记忆信源熵离散无记忆信源熵：取决于信源符号的概率分布离散有记忆信源熵：取决于信源符号的概率分布和信源符号间的条件概率稳定后的马尔可夫信源熵：取决于状态概率分布和各状态下发出符号的概率第16页，共16页，星期日，2025年，2月5日