信源熵马尔科夫信源和极限熵课件.pptVIP

信源熵马尔科夫信源和极限熵;单符号离散信源联合熵 多符号离散信源联合熵；条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 马尔科夫信源及其极限熵 冗余度与结构信息 ;四、马尔科夫信源及其极限熵;马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中,被称为是“马尔可夫链地理统计学”。仍在发展过程中。;四、马尔科夫信源及其极限熵;表示;;;用状态表示的m阶马尔科夫信源等效于用状态转移图描述的马尔科夫链。;s1;s1;2、马尔科夫链的遍历定理;马尔科夫链的遍历定理;极限熵定理;;强调m阶马尔科夫信源的长度特征，一般其极限熵H∞记为Hm+1;s1;;完备性;;五、冗余度与结构信息;;;;实际信源抽象为N维离散平稳信源，H∞是其熵率，即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是不现实的。实际中，只能掌握有限记忆长度m，其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1H∞，表现在信息传输上存在冗余。 ;;;例1;英文信源用m阶马尔可夫信源近似，最大熵及各阶极限熵;英文字母不等概率分布图;英文字母前后存在一定的依赖关系，如t后出现h、r的可能性较大。;（5）近似为全记忆信源(香农以m=100估计)，N-1阶极限熵;英文信源近似为无记忆信源且等概时，冗余度;英文信源近似为无记忆信源但概率分布已知时，冗余度;英文信源近似为二阶马尔可夫信源，冗余度;;2、结构信息;英文信源近似为无记忆信源且等概时，结构信息;英文信源近似为一阶马尔可夫信源，结构信息