近红外光谱样本筛选新方法研究.pdf

近红外光谱样本筛选新方法研究 陈这邵学广 (南开大学化学系，天津300071) 摘要近虹外光谱分析技术是一种二次测量技术，希准备大量的校正样品并借助多元校 正技术来构建近红外光谱定量分析模型。在近红外建模过程中．光谱模型易受到许多因素的影 响，其中，样品集的性质砍定近光谱模型的优劣。因此，近红，卜光谱样本筛选方法研究具有非 常重要的意义。本文针对真实体系的近红外光谱，重点研究了自适直的样本筛选新方法，包括 基于样本权重选代以及基于空闻均匀设计的样本筛选方法。同时，为避免光谱干扰的影响，引 入了连续小波变换用于光谱预处理，有利于提高样本选择的准确性及降低近红外光谱建模难皮。 关键诃近红外光谱；化学计量学；自适应样本筛选 近红外(Nm)光谱分析技术是近年来一门发展迅猛的高新分析技术，以其快速、简便、 无损等特点在农产品、食品、药物和化工产品的定性和定量分析中得到了广泛的应用【l’2J。 但近红外光谱是一种弱吸收谱，其谱峰宽平且严重重叠，故很难采用特征峰去对烟草样品进 行定量分析，需要引入多元校正技术对近红外光谱中的弱信息进行有效提取∞J。由于多元校 正模型是在对大量样本统计学习的基础上构建的，因此，校正集样品的选择及其对应基础数 据测量的准确性直接决定所建立校正模型的适用性和准确性L4JJ。本文针对复杂体系的近红 外光谱，重点研究了自适应的样本筛选新方法，提出了两种新型算法：迭代样本权重偏最小 least 二乘法(iterativeobjectweighting—p枷aI Ketmard—Stone (adaptive 验证，能自动识别并扣除奇异样本，并对较差的样本赋予较小的权重，从而达到样本筛选的 目的。AKS算法是基于空间均匀设计的思路从已知样本集中选择最有代表性的样本，并保证 所选择的样品集的光谱特征及性质范围能较好地涵盖以后未知样品的光谱特征。 文献中已经提出了很多算法用于样本筛选，但到目前为止，这些算法往往基于原始谱图 来选择样本[4,7]。然而，在近红外光谱分析中，光谱不仅包含了待测物质的吸收谱信息，而 且还包含了背景、噪音等干扰信息，光谱干扰的存在将严重影响样本选择的准确性。为了提 高样本选择的准确性和代表性，在样本选择前，光谱干扰应当首先被扣除。近年来，连续小 波变换(CWT)作为一种新方法成功地被应用于同时扣除背景和噪音，并获得了较好的定量结 果【8]。CWT在实际操作过程中，因为无需重构小波系数，计算非常简单，同时CWT变换后 数据点的个数不变，原始谱图的定量信息基本上保留在CWT系数中，所得CWT系数可用于 进一步的定量分析。 作者简介：胨达，男．1979年出生，2005年获中国科技大学理学博士学位，现为南开大学化学系在站博士后，从事 i左红外光谱新算法研究oE-mai／：‰@naakai．曲．恤，xr^ao@nankai．cdu．cno 选样本，有利于提高样本选择的准确性和可靠性。针对不同的近红外光谱体系，CWT— 外光谱定量分析中一种有效的工具。 2近红外光谱数据筛选新方法研究 2．1遮代样本权重偏最小二乘法(IOWPLS) PL$迭代计算，在计算过程中，采用交叉验证去计算样本的回归残差，样本权重的大小与回 判别奇异点。新判据计算过程非常简单：若样本i(1≤i≤n)的预测残差超过区间[一3巩， 3巩]，则该样本应作为奇异点扣除，否则就赋予一定的权重，其中，n为样本数，吼是交叉 验证中其他n一1个样本回归残差的方差值。本文采用的权重函数表达公式如下： 对于I 丸=1／[1+(rl／39i)21ol3ai 丸=0 对于I1iI≥3cr； (1) 模型的过拟合，本文引人了F检验法来决定PI．S模型的最佳因子数。 为避免光谱干扰的影响，本文采用CWT算法对近红外光谱进行预处理。整个cwr— IOWPLS算法流程如下： 尺度参数口的大小通过RMSECV优化获得 RMSECV：[∑(六一孔)2】”