随机过程与概率统计复习讲义.docxVIP

随机过程与概率统计复习讲义

引言

随机过程与概率统计是现代数学的重要分支，在自然科学、工程技术、社会科学乃至日常生活中都有着广泛的应用。本讲义旨在梳理这门学科的核心概念、基本理论与常用方法，帮助读者巩固基础，理清脉络，为进一步学习或实际应用打下坚实基础。复习时，应注重概念的理解、定理的逻辑推演以及方法的灵活运用，而非简单的公式记忆。

第一部分：概率论基础回顾

概率论是研究随机现象统计规律性的数学工具，是后续学习数理统计与随机过程的基石。

1.1随机事件与概率

随机试验是概率论的基本研究对象，它具有可重复性、结果的多样性以及试验前结果的不确定性三大特点。

样本空间是随机试验所有可能结果组成的集合，通常记为Ω。样本空间的元素称为样本点。随机事件（简称事件）是样本空间Ω的子集，即某些样本点的集合。

概率的公理化定义是概率论的理论基础，它规定了概率应满足的三条公理：非负性、规范性和可列可加性。基于此，我们可以推导出概率的一系列性质，如单调性、有限可加性、逆事件概率公式、加法公式等。其中，加法公式（特别是对于互斥事件和一般事件的情形）在概率计算中频繁使用。

条件概率是概率论中一个极为重要的概念，它刻画了一个事件发生对另一个事件发生概率的影响。其定义为：若P(B)0，则P(A|B)=P(AB)/P(B)。由条件概率可以自然地引出乘法公式。而全概率公式与贝叶斯公式则是利用条件概率解决复杂概率计算问题的有力工具，它们体现了“化整为零”和“由果溯因”的思想，在实际问题中应用广泛。

事件的独立性是另一个核心概念。若事件A与B满足P(AB)=P(A)P(B)，则称A与B相互独立。独立性意味着一个事件的发生与否不影响另一个事件发生的概率。这一概念可以推广到多个事件的情形。

1.2随机变量及其分布

为了更方便地运用数学工具研究随机现象，我们引入随机变量。随机变量是定义在样本空间上的实值函数，它将随机试验的结果数量化。

描述随机变量统计规律性的最重要工具是分布函数，定义为F(x)=P(X≤x)，它具有单调不减、右连续、在正负无穷处极限为0和1等基本性质。

根据取值特点，随机变量可分为离散型和连续型（以及奇异型，但实际应用中主要是前两类）。

对于离散型随机变量，我们用概率质量函数（分布律）p(x)=P(X=x)来描述其取值的概率分布。常见的离散型分布包括：两点分布（0-1分布）、二项分布、泊松分布、几何分布、超几何分布等。需要掌握这些分布的实际背景、概率质量函数、数学期望和方差。

对于连续型随机变量，我们用概率密度函数f(x)来描述，它满足分布函数F(x)是f(x)的变上限积分，且f(x)非负、在整个实数域上的积分等于1。常见的连续型分布包括：均匀分布、指数分布、正态分布（高斯分布）、伽马分布、贝塔分布等。其中，正态分布因其在自然界和工程实践中的广泛存在以及良好的分析性质而占据核心地位。

随机变量函数的分布是一个重要的考点，需要掌握由已知随机变量X的分布求其函数Y=g(X)的分布的方法，对于离散型和连续型随机变量应分别处理。

1.3多维随机变量及其分布

在许多实际问题中，需要同时考虑多个随机变量，这就引出了多维随机变量（或称随机向量）的概念。最常见的是二维随机变量(X,Y)。

描述二维随机变量的分布有联合分布函数F(x,y)=P(X≤x,Y≤y)。同样，二维随机变量也分为离散型和连续型，分别用联合概率质量函数p(x_i,y_j)和联合概率密度函数f(x,y)来描述。

由联合分布可以导出每个分量的边缘分布。对于离散型，边缘概率质量函数是联合概率质量函数对另一变量所有可能取值的求和；对于连续型，边缘概率密度函数是联合概率密度函数对另一变量的积分。

条件分布是在已知一个随机变量取值的条件下，另一个随机变量的分布。它是条件概率概念在随机变量层面的推广，同样分为条件概率质量函数和条件概率密度函数。

两个随机变量的独立性是指它们的联合分布等于边缘分布的乘积。这一概念与事件的独立性密切相关，但更为一般。

多维随机变量函数的分布更为复杂，例如两个随机变量的和、差、积、商的分布，以及最大值、最小值函数的分布等。卷积公式是计算独立随机变量和的分布的常用工具。

1.4数字特征

分布函数或密度函数完整地描述了随机变量的统计规律，但在许多实际问题中，我们并不需要完整的分布，而只需了解其某些数字特征。数字特征是刻画随机变量某方面统计特性的常数。

数学期望（均值）是随机变量取值的加权平均，是最重要的数字特征之一，它反映了随机变量取值的集中趋势。数学期望具有线性性等重要性质。

方差刻画了随机变量取值与其数学期望的偏离程度，即取值的分散程度。标准差是方差的平方根，具有与随机变量相同的量纲。方差具有D(X)=E[X2]-[