基于BP神经网络磷酸铝合成数据补值模型研究.docVIP

基于BP神经网络磷酸铝合成数据补值模型研究 　　摘 要：磷酸铝合成反应数据库中有29%的数据存在不同情况的缺失。为了处理缺失值问题，本文首次提出利用BP神经网络对其进行估计补值。在不同缺失率下，通过大量的随机实验结果证明了补值算法具有一定的有效性和可行性。 　　关键词：微孔材料；BP神经网络；缺失值 　　中图分类号：TP391.4 文献标识码：A 　　1 前言 　　数据缺失（missing values，MVs）问题是广泛存在且无法回避的一个问题。尤其是在面对处理现实问题时，缺失问题更为普遍和严重[1]。数据参数缺失有很多种原因，如对实验数据没有详细的记录、部分参数无法测定等。不完整的数据对后续的数据分析带来不同程度的干扰。因此，对缺失值数据进行补值是一步非常重要的数据预处理方法[2]。 　　近些年，国内外学者子在研究是发现，如果在补值时考虑参数间的相关性则补值的估计误差率会明显降低[3]。针对不同情况，学者们先后提出了不同的补值方法，如KNN补值方法（K-nearest neighbor imputes，KNNimpute）[4]、奇异值分解补值方法（singular value decomposition imputes，SVDimpute）[5]等。在生物信息学[6]和计量化学[7]等很多领域已经开展了缺失值处理方法的研究。但目前还没有针对磷酸铝合成反应数据的缺失值处理的相关方法研究报道。因此，本文首次提出基于BP神经网络的补值方法（BP neural networks imputes，BPimpute）应用到磷酸铝合成反应数据上，并同其他经典方法（基于KNN的补值方法（K-nearest neighbor imputes，KNNimpute）、基于SVD的补值方法（singular value decomposition imputes，SVDimpute）和基于最小二乘的补值方法（least square imputes，LSimpute）进行对比，来验证算法的可行性和有效性。 　　本文结构如下：在第二部分对现有的几种经典补值方法进行简单介绍；然后在第三部分详细描述BPimpute的补值过程；第四部分是实验设计和结果分析；最后给出本文结论。 　　2 补值方法简介 　　现有的补值方法一般被分为两类：基于模型的方法和插补方法（hot-deck inputation）[8]。插补方法是最典型的无需构建模型的补值方法，它利用含缺失数据的样本较像数据的可用参数值来替换缺失值，最经典方法就是KNNimpute[9]。插补方法简单、易用，能够实现完备集数据，但是它没有考虑数据参数间的相关性。基于模型的方法（如SVDimpute[10]和LSimpute[11]）首先根据现有数据建立估计模型，然后对缺失值进行补值，是一种更复杂、应用更灵活的方法。近年来，一些学者发现神经网络也能解决类似的问题。 　　3 BPimpute方法 　　基于分子筛的合成机理，以及参数间存在潜在映射关系，而BP神经网络是能够获得从输入到输出之间的非线性映射关系的有效工具，因此利用BP神经网络来刻画参数间的映射关系，首次提出基于BP神经网络的补值方法。 　　BPimpute采用三层BP神经网络结构（输入层、隐含层和输出层）来构建参数模型[12]。从Y中不含参数缺失的样本随机选出k个样本作为训练样本；假设第h个参数缺失。BPimpute方法分两个阶段进行缺失值估计，即训练模型阶段和估计缺失值阶段。在训练阶段，每个训练样本除第h个参数外的参数作为BP网络的输入向量，训练样本的第h个参数值作为模型的输出，训练好BP网络模型。在估计阶段，就是将测试样本送入训练好的BP模型中，模型的输出即为缺失值的估计值。 　　4 实验结果与分析 　　4.1 磷酸铝合成反应数据库简介 　　磷酸铝合成反应数据库[13]是由吉林大学徐如人院士领导的“无机合成与制备国家重点实验室”在国内外大量学者、科研机构研究的基础上率先建立起来的，并对国内外学者免费开放（http：///alpo/）。该数据库共有约1600条数据，对应230余种磷酸铝骨架结构。 　　4.2 补值实验设计与结果分析 　　首先，从原始数据库中挑选出不含参数缺失的数据构建完备数据集，每条数据由凝胶成分、溶剂属性、模板剂属性和生成物结构参数四部分组成。因为溶剂和模板剂属性是固定参数，所以本文仅考虑能够生成含（6，12）元环无机微孔化合物的数据（398条）的4个凝胶成分参数[14]（data_M）作为研究目标。并做以下假设：4个凝胶成分参数是相关的，且发生缺失的情况是独立的、随机产生的，每条样本数据最多存在一个参数缺失。最后，根据以上假设，随机将部分数据样本的某个参数设为缺失，对其进行补值，通过与真