拉普拉斯近似方法在高斯过程分类器中的应用.docxVIP

拉普拉斯近似方法在高斯过程分类器中的应用 1 基于拉普拉斯近似方法的高斯过程分类器 鉴于液压系统的重要设备，其运行状态直接影响系统的安全水平。随着变压器状态监测的发展和逐步推广,建立基于变压器状态在线监测信息的故障诊断系统是十分必要的和可行的。 由于变压器油中溶解气体的组成与含量可以在很大程度上反映变压器的运行状态,油中溶解气体分析方法(Dissolved Gas Analysis,DGA)已经成为油浸式变压器故障诊断的一种有效方法,并在此基础上形成了三比值法、Rogers法等传统方法,以及人工神经网络(ANN)、贝叶斯分类器和支持向量机(SVM)等人工智能方法。 然而传统算法存在缺编码、编码界限过于绝对等主要缺陷;ANN网络结构难以确定,贝叶斯分类器需要大量样本数据,SVM存在规则化系数、核函数参数确定困难等固有局限。 高斯过程学习机(Gaussian Process for Machine Learning,GPML)是一种基于高斯过程和贝叶斯理论的新的统计学习算法,是当前国际上机器学习研究的热点领域[11,12,13,14,15,16,17],但尚未见其应用于变压器故障诊断。 鉴于此,本文首先构建基于拉普拉斯近似方法的高斯过程分类器(Laplace Gaussian Process Classifier,LGPC),LGPC的超参数可以在模型学习的过程中自行优化,并能够以概率的形式输出分类结果,易于分析问题的不确定性。同时,该方法可有效解决小样本、高维、非线性等复杂分类问题;然后用典型数据分类算例对LGPC性能进行分析,最后提出基于LGPC的变压器故障诊断方法,给出了该方法的具体实现过程,并用工程实例对该方法进行了验证。 2 基于高斯过程的分类算法 在统计学理论中,高斯过程指的是一组随机变量的集合,该集合内的任意有限个随机变量都服从联合高斯分布。高斯过程的全部统计特征完全由它的均值和协方差函数来确定,已被广泛的应用于机器学习中的回归和分类问题,本文主要介绍基于高斯过程的分类算法。 设训练样本D=(X,y),其中X={xi}Ni=1为输入向量集,y={y1,y2,…,yN}为类别向量。基于高斯过程的分类算法赋予隐函数f(x)高斯过程先验分布,如式(1);通过引入反应函数获取先验分布π(x)=p(y=+1|x)=σf(x))。 式中,m(x)=E[f(x)]为均值函数;k(x,x′)=E[f(x′)-m(x′))]为协方差函数。 对于新的待测样本数据x*,其类别概率预测通常分四步。 (1)选取均值函数、协方差函数、似然函数。 (2)确定非高斯分布积分项的近似求解方法以及超参数的优化方法。 (3)按式(2)计算隐函数f*=f(x*)的概率分布。 (4)按式(3)计算类别预测概率。 3 在lgpc中的超参数优化 本文构建了基于拉普拉斯近似方法的高斯过程分类器(LGPC),该分类器均值函数采用常函数如式(4),协方差函数采用全平方指数函数如式(5),似然函数采用误差函数如式(6);采用最大边缘似然函数的方法对LGPC的超参数进行优化。 式中,Λ=diag(λ1,λ2,…λd);d为输入向量的维数。 3.1 边缘似然函数非高斯分布的解析法 由贝叶斯定理可知式(2)中的隐函数f的后验概率分布p(f|X,y)=p(y|f)p(f|X)/p(y|X),而边缘似然函数p(y|X)=∫p(y|f)p(f|X)df,由于似然函数p(y|f)非高斯分布,无法求得f的后验概率分布和边缘似然函数的解析解,因此需要采用近似求解方法或马尔科夫链蒙特卡洛方法。本文采用拉普拉斯近似方法。 3.1.1 级数px,y近似高斯分布形式 拉普拉斯近似方法是将后验概率分布p(f|X,y)近似为其在的二阶泰勒展开级数,从而得到p(f|X,y)近似高斯分布形式,可以采用牛顿法求解。其中,。由于边缘似然函数与f无关,因此求解等同求解,Ψ(f)如式(7)所示。通过牛顿法可求得:,其中K是协方差矩阵,W=-▽▽log p(y|f)。 3.1.2 log边缘似然函数fdf 边缘似然函数p(y|X)=∫exp(Ψ(f))df,同样采用泰勒级数在的二阶展开式对其近似,可以得到log边缘似然函数近似形式为 式中,B=I+W1/2KW1/2。 3.2 最大边缘似然函数模型求解 LGPC中均值函数和协方差函数的超参数取值对LGPC的性能有很大的影响,如式(4)和式(5)中的超参数θ={α,λ1,…λd,σf}。本文采用最大边缘似然函数的方法(ML-II)对模型超参数进行优化,对式(8)各超参数求偏导,采用共轭梯度方法搜索最优超参数。 由于最大边缘似然函数方法可以自动平衡模型拟合度和模型复杂度,因此LGPC具有很好的泛化能力。 3.3 高斯分布概率 求得f的后验概率的近似高斯分布,可分别由