MIT 6.262 离散随机过程讲义.pdfVIP

离散随机过程

第二版草稿

R.G.Gallager

2011年1月31日

i

ii

前言

这些笔记是同名文本[9]的重大改写的草稿。这些笔记和文本是在20多年来为麻省理工学

研究生课程6.262“离散随机过程”开发的讲义的基础上发展起来的。6.262的最初动机是

为计算机通信网络领域的电气工程、计算机科学和运筹学学生提供必要的背景知识。这个

领域中许多最重要和具有挑战性的问题涉及排队和拥塞，但是关于排队和拥塞的文献正在

迅速扩散，需要更加有凝聚力的方法。排队问题是随机过程的例子，更具体地说，是离散

随机过程。

离散随机过程形成了一个有机的研究体系，使得排队和拥塞问题能够在其自然发生的地方

进行讨论。

在这些年里，越来越明显的是，几乎所有技术和人类事务的不确定性问题都提供了离散随

机过程的有趣和重要的例子。随着这些问题的讨论，不仅扩大了该学科的应用领域，还增

强了我们对一般原理的直觉和理解。

本文的目的既是帮助学生理解离散随机过程的一般原理，也是培养应用随机过程模型解决

工程、科学和运筹学问题所需的理解和直觉。尽管最终目标是应用，但对于真实应用的详

细描述相对较少。相反，有许多简单的例子旨在增进对随机过程中特定原理的洞察力，并

说明这些现象在实际系统中的一般效应。我相信，“案例研究”方法，即在没有一般原理

的情况下研究许多应用，是不适合理解随机过程的（同样也不适合任何具有丰富和高度有

机的数学结构的领域）。

当我们尝试设计新的系统或理解物理现象时，通常会使用各种随机过程模型来了解问题的

不同权衡和方面。创建这些模型需要对应用领域和随机过程的结构有深入的理解。应用领

域太广泛，结构太深入，无法在一本书中完成所有这些内容。我的经验表明，工程师在将

已知理论和工具应用于已知应用领域时很少遇到困难。困难出现在理论结构在直觉和数学

层面上都不被理解的情况下。我们作为工程师所看重的“信封背面计算”是对应用领域和

概念结构的深入理解的结果。

我在这里尽可能简单地介绍了随机过程的结构方面，以帮助读者开发洞察力。这需要比工

程师习惯的更多的抽象，但比数学文本中经常出现的要少得多。这还要求学生花更少的时

间进行复杂计算，而是更多地进行绘图和思考。这里的证明和解释是为了阅读而设计的。

iii

不是因为学生可能怀疑结果，而是为了增强理解。为了在建模实际情况中使用这些结果，

必须理解结果的鲁棒性，这只能通过理解结果为什么是真实的以及在所需条件不满足时为

什么会失败来获得直观的理解。

学生通过多种方式学习新概念，部分是通过学习事实，部分是通过做练习，部分是通过逐

步完善对学科的内部结构图像来实现的。所有这些的结合导致了理解和解决实际问题的能

力。然而，这种建模能力需要比将练习与公式和定理匹配的简单操作更多的东西。建模能

力基于直观水平上的理解，并以数学为支撑。

随机过程是处理随时间演变的概率系统的概率论分支。通过离散随机过程，我指的是只在

确定性或随机间隔的离散时间点发生变化的过程。特别地，我们不处理噪声过程，如高斯

过程。离散和非离散过程之间的区别有些人为，但受到两个实际考虑的制约。第一个考

虑是许多工程研究生需要学习涉及噪声、二阶矩理论和推断（包括检测和估计）的课程（

这些课程的材料比标题更标准）。这样的课程具有很强的内聚性，在一个学期内很好地适

应，但与这里的材料相比，概念上的重叠相对较少。第二个考虑是将这里的材料扩展到连

续过程时，常常会用数学技术性的东西掩盖概率思想。

这里介绍的数学概念没有使用测度论，但需要一些数学分析的知识并在使用中进行了发展

。这个材料需要更多的耐心和更多的数学抽象，比许多工程学生习惯的要多，但这通过最

少的机械计算练习来平衡。如果你在一个练习中发现自己写了很多方程，请停下来思考，

因为通常有更简单的方法。在定理、证明和解释中，我试图偏向简单而不是一般性，偏向

清晰而不是简洁（尽管这在第一次阅读时通常不明显）。对于一些重要的结果，我提供

了参考而不是证明，因为证明中的技巧不会被重复使用并且提供的直觉很少。给出了许多

例子，展示了当不满足所有条件时结果不成立的情况。理解往往依赖于一系列好的反例