半监督极限学习机及其在近红外光谱数据分析中应用.docVIP

半监督极限学习机及其在近红外光谱数据分析中应用 　　摘要：当数据集中包含的训练信息不充分时，监督的极限学习机较难应用，因此将半监督学习应用到极限学习机，提出一种半监督极限学习机分类模型；但其模型是非凸、非光滑的，很难直接求其全局最优解。为此利用组合优化方法，将提出的半监督极限学习机化为线性混合整数规划，可直接得到其全局最优解。进一步，利用近红外光谱技术，将半监督极限学习机应用于药品和杂交种子的近红外光谱数据的模式分类。与传统方法相比，在不同的光谱区域的数值实验结果显示：当数据集中包含训练信息不充分时，提出的半监督极限学习机提高了模型的推广能力，验证了所提出方法的可行性和有效性。 　　关键词：极限学习机；半监督学习；非凸最优化；混合整数规划；近红外光谱 　　中图分类号： TP182； TP183 　　文献标志码：A 　　Abstract：When insufficient training information is available， supervised Extreme Learning Machine （ELM） is difficult to use. Thus applying semisupervised learning to ELM， a SemiSupervised ELM （SSELM） framework was proposed. However， it is difficult to find the optimal solution of SSELM due to its nonconvexity and nonsmoothness. Using combinatorial optimization method， SSELM was solved by reformulating SSELM as a linear mixed integer program. Furthermore， SSELM was used for the direct recognition of medicine and seeds datasets using NearInfraRed spectroscopy （NIR） technology. Compared with the traditional ELM methods， the experimental results show that SSELM can improve the generation when insufficient training information is available， which indicates the feasibility and effectiveness of the proposed method. 　　Key words：Extreme Learning Machine （ELM）； semisupervised learning； nonconvex optimization； mixed integer programming； NearInfraRed spectroscopy （NIR） 　　0 引言 　　在模式识别和机器学习问题中，通常根据训练样本的类标示是否参与训练而将学习分成三类：训练样本类标示参与训练的，称之为监督学习；训练样本类标示不参与训练的，称之为无监督学习；部分样本的类标示参与训练的，称之为半监督学习。在实际应用中，获取大量有标记数据通常费时且代价较高，例如Web文本分类问题中，虽然很容易收集到Web网页，但标示出不同的网页为对应的主题时却费时费力，因此同时用大量未标示样本和少量有标示样本的半监督学习方法在理论及实际应用中得到了极大关注。 　　在一些应用问题中训练集提供信息不充分或缺少足够的训练样本，此时仍采用监督的学习方法进行学习其效果往往不理想。半监督学习则同时利用有标示和未标示样本进行学习，以提高分类器的泛化能力。半监督支持向量机（SemiSupervised Support Vector Machine， S3VM）[1-3]是一种有效的半监督学习算法，并且成功地应用于模式识别领域，近年来已成为机器学习领域的研究热点。S3VM是标准支持向量机（Support Vector Machine， SVM）[4]的一种拓展，它是在半监督学习的聚类假设（或低密度分离）[1]基础上建立起来的较完善的一种半监督学习方法。它将分类间隔最大化原则应用到标示和未标示样本，在数据的低密度区域建立最优的分离超平面使其远离标示和未标示样本；但由于半监督学习模型中并入了未标示样本信息，故其模型大都是非凸且非光滑的，较难求其全局最优解。因此，在半监督学习中，国内外研究者提出了一