应用随机程学习总结.docVIP

应用随机过程学习总结一、? ?? ?? ?? ?预备知识：概率论 随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。 1、??概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup表示上确界， inf表示下确界。 本帖隐藏的内容 2、??数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。 3、??独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。 二、? ?? ?? ?? ?随机过程基本概念和类型 随机过程是概率空间上的一族随机变量。因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。 1、??平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差t-s有关，r(t) = r(-t)记为宽平稳随机过程。 因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。 2、??独立增量过程：若X[Tn]– X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。 兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。 3、??随机过程的分类不是绝对的。例如，泊松过程既具有独立增量又有平稳增量，既是连续时间的马尔科夫链，又是一类特殊的更新过程。参数为lambda的泊松过程减去其均值函数同时还是一个鞅。 三、? ?? ?? ?? ?泊松过程 计数过程｛N(t), t=0｝是参数为λ的泊松过程（λ 0），具有平稳独立增量性。而其任意时间长度t发生的次数服从均值为λ* t的泊松分布，即E[N(t)]= λ* t。 1、??与泊松过程有关的若干分布：Xn表示第n次与第n-1次事件发生的时间间隔，定义Tn表示第n次事件发生的时刻，规定T0= 0。其中， Xn服从参数为λ的指数分布，且相互独立。泊松过程在任何时候都是重新开始。 Tn服从参数为n和λ的Γ分布 四、? ?? ?? ?? ?更新过程 更新过程{N(t),t=0}中Xn仍保持独立同分布性，但分布任意，不再局限于指数分布。更新过程中事件发生一次叫做一次更新，此时Xn就是第n-1次和第n次更新相距的时间，Tn是第n次更新发生的时刻，而N(t)就是t时刻之前发生的总的更新次数。 由强大数定理可知，无穷多次更新只可能在无限长的时间内发生。因此，有限长时间内最多只能发生有限次更新。 1、??更新函数：更新理论中大部分内容都是有关E[N(t)]的性质。以M(t)记为E[N(t)]，称为更新函数。此时，M(t)是关于t的函数而不是随机变量。 2、??更 新方程：若H(t)，F(t)为已知，且当t0时，H(t)与F(t)均为0，同时当H(t)在任何区间上有界时，称具有如下形式的方程K(t) = H(t) + intergral(K(t-s)*dF(s))的方程称为更新方程。当H(t)为有界函数时，更新方程存在唯一的有限区间内的有界的解K(t) = H(t) + intergral(H(t-s)*dM(s))。 3、??更新定理：Feller初等定理、Blackwell更新定理、关键更新定理。其中Blackwell定理指出，在远离原点的某长度为a的区间内，更新次数的期望是a/u，u = E(Xn)。同时，Smith关键更新定理与Blackwell定理等价。 五、? ?? ?? ?? ?马尔科夫链 马 尔科夫链中的转移概率为条件概率，同时给定过去的状态X0，…，Xn-1和现在的状态Xn，将来的状态Xn+1的条件分布与过去的状态独立，只依赖于现在 的状态。其中，Pij = P{Xn+1=j | Xn=i}为马尔科夫链的一步转移概率，它代表处于状态i的过程下一步转移到状态j的概率。 当转移概率Pij只与状态i，j有关而与n无关时，称为时齐马尔科夫链，同时当状态有限时，称为有限链。转移概率矩阵中概率非负，同时随机矩阵中每一