数据预处理在元启发算法中的应用.pdf

摘要

摘要

属性约简是在保持数据集信息内容不变的前提下，通过剔除无关或冗余属性来减

少数据集复杂性和提高数据处理效率的技术。它与数据挖掘和机器学习领域发展密切

相关，旨在从海量数据中提取出最具代表性和有效性的特征子集。

然而，随着数据规模和维度的不断增加，传统的属性约简和特征提取方法逐渐显

露出一些局限性，例如计算复杂度高、灵活性与鲁棒性低下，适用性范围小等。此时

元启发算法对于属性约简的优异表现逐渐被各方学者所发现，元启发算法是一类基于

启发式搜索的算法，旨在通过模拟自然界中的生物进化过程或其他启发式思想，来解

决复杂的优化问题。元启发算法具有较好的全局搜索能力和适应性，适用于多种优化

问题，包括函数优化、组合优化、属性约简等。在实际应用中，元启发算法已被广泛

应用于工程优化、数据挖掘、机器学习等领域，取得了许多成功的应用案例。然而进

一步的研究同时也发现，通常情况下，元启发算法在解决优化问题时，可能会面临以

下两个问题：依赖于数据分布和固定搜索起点。

(1)依赖于数据分布：元启发算法的性能受到数据分布的影响。如果数据分布不

均匀或存在噪声，可能导致算法收敛速度变慢、陷入局部最优解或者无法找到合适的

解决方案。特别是在高维度或稀疏数据集上，数据分布的不确定性会进一步加剧这一

问题。

(2)固定搜索起点：元启发算法在搜索过程中通常需要选择一个起始点作为搜索

的起点。如果选择的起始点不合适或固定不变，可能导致算法陷入局部最优解，无法

充分探索整个搜索空间。这种情况下，算法对于与索点起关联性弱的属性的评估会无

法准确评估。

为了能够解决这两大类问题所衍生出的分支问题，本文充分利用数据预处理方法

进行了深入的探索。具体而言本文提出以下两个数据预处理。

(1)利用随机抽样和LIFT预处理策略降低对于数据分布的依赖：本文提出了一种

基于LIFT和随机抽样的预处理策略，称为ARLRS，旨在降低对于数据分布的依赖。

首先，本文引入了随机抽样策略来避免样本分布过拟合。同时通过利用每个标签的固

有特性，引入LIFT算法来提高数学建模的性能。最终，本文的预处理策略通过使用

LIFT算法来引导抽样，减少抽样的不可控性。实验结果表明：ARLRS算法能够显著减

少搜索约简的时间消耗，同时，ARLRS算法得到的约简在分类任务中能够提供令人满

意的性能。

(2)利用随机分割技术和LIFT预处理策略避免算法陷入固定搜索起点：本文提出

I

江苏科技大学硕士学位论文

LIFTARLAP

了一种基于和随机切割的预处理策略，，使算法检索更多搜索起点。首先，

本文使用LIFT算法，在一开始选择出有足够代表性的样本以进行初步的对于整体样本

空间的评价，并确定搜索起点，同时本文利用随机分割技术算法框架，对于原始的样

本空间进行数据预处理，使得有较强分类能能力的属性再正式的元启发算法迭代搜索

过程中不被检索。实验表明，本文的预处理策略所带来的全新算法在分类性能上有了

显著的提升，并且对比于传统元气发算法有一定的时间消耗上的优势。

关键词属性约简；元启发算法；粗糙集；数据预处理

II

目录

目录

摘要I

AbstractIII

第1章绪论1

1.1研究背景与意义1

1.2问题描述3

1.3本章工作与贡献4

第2章元启发算法关键技术概述7

2.1粗糙集理论概述7

2.2基于粗糙集的属性约简8

2.3通过元启发算法获得约简10

第3章利用数据预处理提升元启发算法搜索效率13

3.1问题描述1