基于自加权变量组合集群分析法近红外光谱变量选择方法研究.docVIP

基于自加权变量组合集群分析法近红外光谱变量选择方法研究 　　摘要变量选择技术是光谱建模的重要环节。本研究提出了一种新的变量选择方法――自加权变量组合集群分析法（AWVCPA），首先通过二进制矩阵采样法（BMS）对变量空间进行采样；其次通过对变量出现频率（Fre）和偏最小二乘回归系数（Reg）两种信息向量（IVs）做加权处理， 得到了每个光谱变量的贡献值，进而考虑到了Fre和Reg两类IVs对于光谱建模的影响；最后通过指数衰减函数（EDF）删除贡献小的波长点，进而实现特征变量选取。以啤酒和玉米两组近红外光谱数据为例，基于偏最小二乘法（PLS）建立啤酒中酵母?舛仍げ饽Ｐ秃陀衩字杏团ǘ仍げ饽Ｐ停?对比其它变量选择方法。研究表明，在相同条件下，基于AWVCPA变量选择方法建立的预测模型都取得了最优的预测精度，对啤酒中酵母浓度的预测，相比全光谱PLS模型，RMSEP由05348下降到01457，预测精度提高了727%；对玉米含油量的预测，相比全光谱PLS模型，预测均方根误差（RMSEP）由00702下降到了00248，预测精度提高了647%。 　　关键词近红外光谱； 化学计量学； 变量选择； 自加权变量组合集群分析法； 信息向量 　　1引 言 　　随着近红外光谱技术和化学计量学的发展，变量选择技术已成为近红外光谱分析高维度数据领域的关键环节，对光谱变量进行变量选择可以提高预测模型的预测能力、降低光谱数据维度和增强预测模型的可解释性。同时，变量选择也是一个非确定多项式（Nondeterministic polynomial time， NP）问题，随着变量空间的增大，找到一组最佳的变量组合是一个非常具有挑战性的问题[1～4]。常见的变量选择方法有无信息向量删除法（UVE）[3]、相关系数法（CCM）、蒙特卡洛无信息变量删除法（MCUVE）[5]、遗传学算法（GA）[6～9]等。随着模型集群分析（MPA）思想的发展，一些新变量选择方法，如随机蛙跳法（RF）[10]、竞争自适应重采样法（CARS）[11，12]、 迭代保留有信息变量法（IRIV）[13]和变量组合集群分析法（VCPA）[14]等被提出。然而，对于变量重要性目前常采用信息向量（IVs）[15]判定，常见的信息向量有偏最小二乘回归系数（Reg）、相关系数向量（Cor）、残差向量（Res）、投影变量重要性向量（VIP）、净信号向量（NAS）、信噪比向量（StN）、协方差向量（Cov）、选择比向量（SR）、预测残差向量（Ssr）、变量出现频率（Fre）和协方差选择向量（Covsel）等[16～21]。虽已有大量变量选择方法和信息向量，但每种变量选择方法都只采用了这些信息向量中的一种作为变量重要性判断依据，进而忽略了其它信息向量对预测模型的影响，因此易产生预测模型的过拟合现象。 　　为了解决此问题，本研究提出了自加权变量组合集群分析法（AWVCPA），将MPA思想与多IVS加权思想结合，采用交互检验均方根误差（RMSECV）最小原则，对Fre和Reg两种信息向量的结果进行归一化加权处理，计算出每个变量在这两种信息向量结果中的最终贡献值，进而考察了这两种信息向量对每个光谱变量的影响，提高了预测模型的稳定性。利用此方法分别对啤酒中酵母浓度和玉米中油的浓度进行预测，并对比相同条件下GA、MCUVE、VCPA的建模结果。结果表明，AWVCPA可以取得更高的建模精度和预测精度。 　　2实验部分 　　21数据来源 　　211啤酒数据本研究应用的啤酒样本近红外光谱数据来源于文献[22]， 数据包含60个样本，每个样本的近红外光谱波长分布在1100～2250 nm，光谱间隔为2 nm，运用KennardStone（KS）分类法选取其中的40个样本的近红外光谱数据和化学值数据作为校正集建立啤酒中酵母浓度的预测模型，剩余的20个样本的近红外光谱数据和化学值数据作为预测集检验模型的可行性，啤酒的近红外光谱图如图1所示。 　　212玉米数据玉米样本数据来源：http：//wwweigenvectorcom/data/Corn/indexhtml。玉米近红外光谱数据由3种不同的近红外光谱仪（M5、MP5、MP6）测量得到，由于每种光谱仪的工作原理不同， 　　所以通过不同光谱仪所得到的近红外光谱数据也不同，本研究应用的数据是通过M5近红外光谱仪测量得到的80个玉米近红外光谱数据。每个玉米样本的近红外光谱波长分布在1100～2498 nm，运用近红外光谱仪测试每个玉米样本的近红外光谱，并用化学方法测试每个样本中油浓度的化学值。运用KS方法选取其中60个样本光谱数据和化学值数据作为校正集建立预测模型，将剩余的20个样本的光谱数据和化学值数据作为预测集检验模型的可行性，玉米近红外光谱图如图2所示。