基于元启发优化极限学习机的分类算法及其应用研究.docVIP

　　基于元启发优化极限学习机的分类算法及其应用研究 --第 1 章 绪论 1.1 研究背景和意义 分类研究一直是模式识别、机器学习和数据挖掘领域中最重要的研究问题之一，在学术界和技术应用领域都能涉及到，在现实生活中许多重要决策问题如疾病诊断和风险评估等都可归结为分类问题，这些复杂的问题对分类理论和算法提出了很高的要求。其中基于人工神经网络的分类理论与研究一直是人工智能和机器学习领域中最活跃的研究课题之一。人工神经网络不需要先验知识，能通过已知数据样本训练数学模型，对任意线性和非线性数据结构进行预测，具有良好的泛化能力，在研究领域和现实生活中有着非常广泛的应用。然而，传统的神经网络方法也存在很多缺陷，如训练时间过长、计算开销大、对初始参数设置敏感、易陷入局部极值、收敛速度慢甚至不能收敛、过拟合问题等。近年来，基于单隐层前馈神经网络的极限学习机方法有效地解决了传统梯度下降优化方法的不足，在处理分类问题上表现出更优越的性能，逐渐成为人工智能和数据挖掘领域的热门课题。同时我们也能看到，虽然研究人员提出了很多基于极限学习机的分类算法和模型，但尚未形成统一完善的理论体系，而且，同国外基于极限学习机的研究相比，国内的研究相对较晚，理论研究和应用技术还值得进一步的提高。因此，值得对基于极限学习机的理论、算法和应用展开深入研究。 元启发算法是利用不同启发式算法搜索空间的高级策略，它可看作是一个迭代产生的过程，结合不同的概念指导下属启发式算法探索和开发搜索空间。为了更有效地实现寻优，算法利用良好的学习策略来构建搜索信息。元启发算法是一个概率决策过程，它与随机搜索的不同之处在于它并不是完全随机搜索，而是以一种智能的方式进行随机搜索。同时它也可看作是一个算法框架，该框架通过调节变动以求解不同的优化问题。此外，元启发算法还具有多样化搜索和集中搜索的平衡机制。由于这类方法简单易实现、鲁棒性强、适于并行、能处理NP 问题等，被广泛用于模式识别、智能控制和工程优化等实际复杂问题。元启发算法包括多种类型的智能算法，如粒子群算法(Particle S Optimization, PSO)、差分进化算法(Differential Evolution, DE)、人工蜂群算法(Artificial Bee Colony, ABC)等，这些群智能算法通过观察生物群体，模拟群体之间的协作方式来求解问题；而引力搜索算法是对物理学中万有引力和质量之间相互作用进行模拟的优化搜索策略，等等。这些算法在分类方法优化方面常常能起到良好的效果。 1.2 神经网络分类方法的研究现状及评述 早期的分类方法是统计分类，其表达形式是建立在公式基础上的，主要基于概率统计模型获得不同类别的特征分布以达到分类的目的。利用已知类别的数据样本进行训练构建分类模型，若分类方法设计的合理，那么它对未知数据处理的效果就会非常好。但前提条件是需要知道数据样本的分布情况，然而在实际中这个条件往往难以得到满足。与统计模型不同，神经网络是与数据样本分布无关的模型，它通过适当地调节网络结构中的权重参数以达到预期的结果，并且能通过调整参数值使结果逼近任意目标函数。基于人工神经网络的分类模型和算法在近几十年中得到了广泛的研究，算法流程主要包括：数据样本采集、特征提取/特征选择、构建神经网络结构和模型、分类器的学习及分类预测。一个性能优越的神经网络分类模型不仅要得到更紧凑的网络结构，还要尽可能涵盖更多的信息，取得较高的分类结果。在分类方法设计过程中，最重要的工作就是要针对具体的分类问题，找到一组最具分辨力且与分类结果密切相关的特征信息集合，构建结构紧凑的网络模型。在实际应用中主要有两种方法：一种是从领域专家那里直接获得专业领域知识；另一种是采用机器学习方法，从已知的数据样本中获取先验知识来指导神经网络分类模型的构建。由于前一种方法易受人的主观性和经验影响，因此，研究者大多采用后一种方法设计神经网络分类模型以解决分类问题。 随着人工智能和机器学习理论和技术的发展，研究者提出了多种人工神经网络方法来解决分类问题，主要以径向基神经网络(Radial Basis Function Neural Netulti-layer Perceptions, MLP) 、自 组 织 映 射 网 络(Self-Orgnisations Map Net)、小波神经网络(Wavelet Neural Networks, WNN)及其它多种神经网络分类方法等。下面按具体方法进行展开阐述。 第 2 章 相关知识介绍 2.1 人工神经网络概述 2.1.1 人工神经网络的定义 关于人工神经网络，尚未有一个标准和统一的定义，其中引用较广泛的定义是由神经网络学家 T.Kohonen 提出的：人工神经网络就是简单单元(通常为适应型)组成的广泛并行互连的网络，它的组