马尔可夫过程在信源编码中的应用.docxVIP

河南城建学院

马尔科夫过程在信源编码中的应用

信息论基础

姓 名： 王坤

专业名称： 电子信息工程专业班级： 0934121

指导老师： 贺伟

所在院系：电气与信息工程学院

2014年12月20日

摘要

首先主要讲述了马尔科夫过程，对马尔科夫过程进行了简介，介绍了马尔科夫过程的数学描述方法并对马尔科夫过程的发展历史进行了简述。

在第二章节对马尔科夫过程在信源编码中的应用进行了简单的论述及讲解。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备

随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。

目录

1引言… 1

马尔科夫过程… 2

马尔科夫过程在信源编码中的应用… 4

参考文献… 13

PAGE

PAGE2

引言

随着现代科学技术的发展，特别是移动通信技术的发展，信息的传输在社会科学进步的地位越来越重要。因此如何更加高效的传输信息成了现代科技研究的重要目标。马尔可夫过程是一类非常重要的随机过程。很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。由于

研究马尔科夫过程在信源编码中的作用，可以利用马尔科夫模型减少信息传输的冗余，提高信息传输的效率。

马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的

消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。

马尔科夫过程

尔可夫过程简介

马尔科夫过程(MARKOVProcess)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。

马尔可夫过程的数学描述

马尔科夫过程

马尔可夫过程是下述这样的一种过程：在已经时刻t0系统所处状态的条件下，在时刻t0以后系统到达的情况与时刻t0以前系统所处的状态无关，完全取决于时刻t0系统所处的状态。这个特性称为无后效性，也称为“马尔可夫性”。

马尔可夫过程数学定义如下：设{X(t),t?T}为随机过程，如果对于任意

正整数n及t?t ?...?t

1 2 n

其条件分布为

,P{X(t

)?x,X(t)?x,...,X(t

1 1 2 2

)?x

n?1

}?0,并且

n?1

P{X(t

)?x|X(t)?x,X(t)?x,...,X(t

)?x

}?P{X(t

)?x|X(t )?x }

n n 1 1 2 2

n?1

n?1

n n n?1

n?1

则称{X(t),t?T}为马尔可夫过程，或称该过程具有马尔可夫性。按照时间和状态的离散、连续情况马尔可夫过程可分为三类：

时间与状态（空间）都离散的过程，称为马尔可夫链；

时间连续与状态（空间）离散的过程，称为连续时间的马尔可夫过链；

时间与状态（空间）都连续的马尔可夫过程。

马尔可夫链

马尔可夫链的数学定义:

设有随机过程{Xn，n?T}，若对于任意的整数n?T和任意的i0，i1，…in+1?I，条件概率满足

P{X

n?1

?i |X

n?1

?i,X

0 0

?i,...,X

1 1

?i}?P{X

n n

n?1

?i |X

n?1

?i}

n n

则称{X

,n?T}为马尔科夫链，简称马氏链。

n

马尔可夫过程的发展

20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，

伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程