马尔可夫过程在信源编码中的应用.docVIP

马尔可夫过程在信源编码中的应用 ———————————————————————————————— 作者： ———————————————————————————————— 日期： 随机过程综述报告 马尔可夫过程在信源编码中的应用 院 系： 信息科学技术学院 专 业： 信息与通信工程 姓 名： 吕成鹏 学 号： 1120210201 摘要 随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。 信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备。 马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。随机过程理论是研究随机信号和信息论的数学工具，针对不同的通信系统我们可以建立相应的数学模型。 马尔可夫过程是一类非常重要的随机过程。随着现代科学技术的开展，很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。 关键字：随机过程、信源编码、马尔可夫信源、马尔可夫过程  随机过程开展简述 在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反响动力学到 通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。 一些特殊的随机过程早已引起人们注意，例如1907年前后，马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链；又如1923年维纳给出了布朗运动的数学定义，后人称这种数学上的布朗运动为维纳过程，这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开场于30年代。1931年，柯尔莫哥洛夫发表了?概率论的解析方法?；三年后，辛钦发表了?平稳过程的相关理论?。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论根底。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，杜布的名著?随机过程论?问世，它系统且严格地表达了随机过程的根本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上开展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、极限定理、随机微分方程等方面也做出了较好的工作。 1.2 随机过程的数学描述 设随机试验E的样本空间，T是一个数集〔〕，如果对于每一个t T，都有一个定义在样本空间上的随机变量X(w,t)，wΩ，那么称依赖于t的一族随机变量{X(w,t)，tT}为随机过程或随机函数，简记为{X(t)，tT }或X(t)，其中t称为参数，T称为参数集。 当T={0,1,2,…}，T={1,2,…}，T={…,-2,-1,0,1,2,…}时，{X(w,t)t T}称为随机序列或时间序列。 2. 马尔可夫过程 2.1 马尔可夫过程简介 马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。 2.2 马尔可夫过程的数学描述 马尔可夫过程 马尔可夫过程是下述这样的一种过程：在已经时刻t0系统所处状态的条件下，在时刻t0以后系统到达的情况与时刻t0以前系统所处的状态无关，完全取决于时刻t0系统所处的状态。这个特性称为无后效性，也称为“马尔可夫性〞。 马尔可夫过程数学定义如下：设{X(t),tT }为随机过程，如果对于任意正整数n