南开大学-变量分组技术在近红外光谱多元校正中的应用.ppt

2010-06-21 变量分组技术在近红外光谱多元校正中的应用 报 告 人：卞希慧 指导教师：邵学广 教授 报告日期：2010.06.21 近红外光谱技术的应用与特点 Chemometrics 波长筛选及其必要性 多模型建模及其必要性 多模型建模及其必要性 变量分组技术的提出 MC-UVE 算法中及Stability VG-PLS算法步骤 实 验 数 据 子模型的变量分布 结 论 化学计量学在近红外光谱中的应用包括很多方面 每个方面现在都已发展出很多的方法 本报告的方法主要是基于波长筛选以及多模型的策略提出一种新的方法。 下面我们对波长选择和多模型进行一简单介绍。 预测尼古丁含量时，选用10个子模型的加权平均。VG-PLS模型的预测精度和稳定性也有明显优势。 VG-PLS方法通过合适的赋权方法，可以有效的利用所有变量信息，从而使PLS模型的预测能力提高。 我们利用偏最小二乘方法建模的时候，由光谱和浓可以得到一个与变量数相等维数的b系数向量。 MC-UVE正是基于b系数的方法，它采用MC方法，每次从校正集中随机选择一些样本，建立PLS模型，得到一个b系数，此过程重复多次，我们可以得到一个系数矩阵B 然后根据这个公式，获得每个变量的稳定性值stability，stability值越大，该变量对建模越重要，应当保留，把红线之间的变量剔除掉。 最后利用筛选后的波长建模。 MC-UVE方法中根据变量的稳定性来筛选波长。因为稳定性可以反映出变量对模型的重要性。 所以，我们也采取稳定性这个参数来进行权重的计算和分组。 * 中国化学会第27届学术年会 变量分组技术在近红外光谱多元校正中的应用 Laboratory of Chemoinformatics, Nankai University (NKU) * 中国化学会第27届学术年会 快速高效 在线分析 无损分析 无需样品处理 低成本 信号弱 灵敏度低 谱带宽 谱峰重叠 干扰大 Bagging，Boosting Stacking FIR 多模型建模 模型转移 平滑 Smoothing 求导 Derivative 标准正态变换 SNV 多元散射校正 MSC 正交信号校正 OSC 小波变换 WT 光 谱 预 处 理 蒙特卡洛交叉验证 奇异样本检测 K-S方法等 校正样本选择 相关系数法、互信息法 无信息变量消除法 UVE 随机检验法 RT 遗传算法 GA 区间偏最小二乘 iPLS 移动窗口偏最小二乘 MWPLS 波 长 筛 选 …… 多元线性回归 MLR 主成分回归 PCR 偏最小二乘 PLS 人工神经网络 ANN 多 元 校 正 相关系数法、互信息法 无信息变量消除法 UVE 随机检验法 RT 遗传算法 GA 区间偏最小二乘 iPLS 移动窗口偏最小二乘 MWPLS 波 长 筛 选 Bagging，Boosting Stacking 多模型建模 近红外光谱都由成百上千个波长点构成，其中存在大量的冗余。波长筛选能够挑选出有用的变量来建模，从而得到更加准确、稳健的结果。 波长筛选对NIR分析具有非常重大意义！！ Model 1 Model 2 Model 3 Model N Samples Ensemble model Calibration set 多模型建模可以提高模型的预测精度及稳定性 Fig. 2 RMSEP obtained by consensus SVM, SVM and PLS in 15 runs of prediction. Fig. 1RMSEP of the ensemble model and its member models. 多模型建模建模的稳定性 及精度都高于单一模型 多模型建模预测精度比其子模型中最好的还要高 多模型建模建模预测精度 比其子模型中最好的还高 多模型技术 不删除变量 保留所有变量 波长筛选 保留有用变量 删除无用变量 变量分组 保留所有变量，赋予不同权重 VG-PLS 变量分组构建子模型 子模型赋权 预测结果加权平均 分组及赋权的指标：MC-UVE中变量的稳定性 浓度=光谱×系数 采用Monte Carlo方法，每次从训练集中随机选择一些样本建模，重复多次，得到回归系数矩阵