采用组分熵对多重共线性数据体系近红外光谱信号的重叠度进行定量计算.pdf

采用组分熵对多重共线性数据体系近红外 光谱信号的重叠度进行定量计算 张存洲1武中臣1·2徐晓轩1宋宁1张炜3 (1．南开大学物理科学学院，天津300071；2．山东大学威海分校，威海264209； 3．天津市九维光电科技有限公司，天津300384) 摘要将信息论的部分概念和观点引入到近红外光谱的分析领域；采用组分熵对近红外 光谱数据的重叠程度进行了定量计算．在对多重共线性表现严重的二甲苯三种同分异构体的近 红外光谱数据的分析中取得了良好的效果；对近红外光谱信号重叠程度的定量计算有利于深化 对近红外光谱数据结构的认识。 关键词近红外光谱；信忠论；组分熵；重叠度 信息论【1．2J是研究信息采集、发送、传递、交换、接收和储存的一门新兴学科，它采用 ’ 概率论的方法定量研究分析信息问题，概率论是其理论基础。 信息定义为对某个对象、事件或动作认识的不确定程度的减少。分析的I+t的就是要对事 物有一个全面、直观、准确的认识，可以说分析的过程就是获取信息的过程。 对于组分及其含量都不知道的黑色多组分体系【3J，它的近红外光谱信号会在哪个通道上 出现及其吸收峰的形状和大小都是无法确定的因素，此时可以把近红外光谱信号可看成是与 组分种类及组分含量有关的随机变量，这种随机变量符合统计学的规律。近红外光谱技术主 要由硬件和软件两部分组成。硬件部分主要指的是仪器，从信息的角度看，光谱仪器其实就 是一个传感器，它不断地采集和输出样品的近红外信号；软件部分主要是分析方法，它通过 ．． 对样品光谱信号进行深层次的解析从而获得 I蔓堕型L—会笋L_堡墨—卜丽rL—堡!U样品组分、含量、结构等相关信息。从信息 论这个层面看待此问题，近红外光谱技术的 图1近红外分析的统计模型 统计模型如图l所示。 由图1可知，在近红外光谱信号中获取样品化学成分信息的过程可分为两步：第一步是 将光谱仪器产生的信息编码得到近红外光谱信号；第二步是将信号解码得到分析结果。 近红外光谱信号来源于含氢基团的合频与倍频，光谱的谱峰比较宽，吸收峰的形状比较 相似而且重叠严重。波形相似的吸收峰严重重叠的结果往往会造成数据的多重共线性，构成 病态数据体系，这是影响预测模型准确度的一个主要原因。本文旨在探求对近红外光谱重叠 度的定量计算，这将有利于对光谱数据结构的整体认识。 1用“熵”度量信息的基本理论 “熵”是信息论中的一个核心概念，在信息论中采用“熵”来度量信息量的多少，它是信息 作者简介：张存洲，男，1937年出生，教授。长期从事光谱学研究工作。现在主要集中于复杂体系的红外、喇曼和 荧光的现场光谱和成像光谱研究工作。E-瑚m出q弘@眦崎．edu．∞。 的量度。熵是从热力学中借用的名词，在热力学中熵用来表征分子运动的无序程度，分子运 动状态越趋向于无序，则熵值越大，在分子处于完全无序运动的状态下，熵值取得最大值。 其实分子热运动的无序性和信息出现的不可确定性是同一种性质的问题。信息论借用熵的概 念来描述信息的不确定度是合情合理的。 样品是信息的最原始载体，所有的信息都包含在样品中，但是包含在样品中信息不能够 直接被人们认识到，它必须借助于特定的仪器才能被科学地表征出来，比如光谱方法。近红 外光谱信号就是样品中信息的一种表现形式，在其吸收峰的峰位和强度中蕴含组分的定性和 定量信息。如前所述，近红外光谱可看成是与样品的组分及其含量有关的随机变量，并且这 种随机变量符合统计学的规律。信息论中的某些性质定理在近红外光谱数据处理中依然是适 用的，只是表示的对象针对于近红外光谱信号，其物理意义更加的明确。 随机系统的不确定度可采用仙农熵(Shannon’s entropy)[5“o来表示，其表达式为： ^ 日=一乙pilogb(n)