蒙特卡洛交叉验证用于近红外光谱奇异样本的识别 - science china .pdf

中国科学 B 辑 :化学 2008 年 第 38 卷 第 4 期 : 316 ~ 323 SCIENCE IN CHINA PRESS 蒙特卡洛交叉验证用于近红外光谱奇异样本 的识别 刘智超, 蔡文生, 邵学广* 南开大学化学系, 天津 300071 * 联系人, E-mail: xshao@ 收稿日期: 2008-03-06; 接受日期: 2008-03-20 国家自然科学基金(批准号:和教育部博士点基金(批准号: 20050055001)资助项目 摘要 奇异样本识别是建立稳健模型的基础, 但大样本数据集中奇异样本的识别非常困 关键词 难. 基于样本在蒙特卡洛交叉验证中的统计规律提出了一种奇异样本的识别方法, 即首先利 近红外光谱 用蒙特卡洛交叉验证建立一定数量的模型, 然后按照预测误差平方和(PRESS)排序并统计每 奇异样本 个样本在不同模型中的出现频次. 由于奇异样本的特殊性, 其出现频次将与正常样本具有显 蒙特卡洛 交叉验证 著差异. 通过对 4 组数据进行考察, 结果表明: 此方法可以有效地识别近红外光谱中的奇异 样本, 比常用的留一法交叉验证(LOO CV)方法具有更强和更准确的识别能力. 1 引言 造成奇异样源于多方面的原因, 仪器误差、实验 操作误差等都可能造成奇异样本的出现. 因此, 奇异 近红外光谱(NIR)作为一种有效的分析测试手段 已经广泛用于物理或化学性质的测定[1]. 偏最小二乘 样本的识别一直是多元校正研究中的热点之一. 有 法(PLS)是最常见的多元校正方法, 已经广泛应用于 许多方法用于奇异样本的识别 [24], 大致可以分为两 [25,26] [27] 近红外光谱定量分析 [2~4]. 利用PLS模型可以方便地 类: 经典诊断 和稳健回归 . 在经典诊断中, 奇 对各种性质进行预测, 但预测结果的精密度和准确 异样本的识别手段包括马氏距离判别法及光谱残差 性往往依赖于模型的质量. 因此, 为了建立一个高质 的F检验等. 这些诊断方法对于单个奇异样本的识别 量的模型已开展了大量的研究工作, 包括光谱预处理 一般具有可靠的识别能力, 但是当样本集中存在多个 [5] 奇异样本时, 识别效率往往还很不理想. 稳健回归方 方法和变量筛选方法, 如OS-2(Optimized scaling) 、 [6] [7~9] [28] 多元散射校正(MSC) 、正交信号校正(OSC) 、小 法针对多个奇异样本的识别具有较好的识别效果 . 波变换 [10~13] 、间隔偏最小二乘(IPLS)[14,15] 、交互变量 根据实现方法的不同, 稳健回归方法可分为两类: 一 筛选偏最小二乘(IVS-PLS)[16,17] 、无信息变量消除 类是基于协方差矩阵的稳健性进行主成分回归, 例 (UVE)[18,19]等. 新的建模方法研究也得到了广泛研究,