自适应数据库中基于特征向量的增量聚类算法的研究与应用.docVIP

自适应数据库中基于特征向量的增量聚类算法的研究与应用 强彦 陈俊杰 高燕飞 The Research And Application of the Incremental Cluster Based on Feature Vectors in Autonomic Database （太原理工大学 计算机与软件学院，山西 太原 030024） 【摘 要】在自适应数据库系统中,负载特征化部件是关键部分，在该部件中，首先要对负载分类,然后根据分类的情况预测负载性能。负载的分类一般采用聚类算法，聚类算法一般比较复杂，时间消耗较大，不能满足实时在线负载分类的时间要求。所以在这种情况下，本文提出了基于特征向量的增量聚类算法，即在基于特征向量聚类结果的基础上，根据特征向量对新增的负载分类，而不需要对所有的负载分类，这样不但节省了时间还节约了资源。 【关键词】聚类算法，k-means算法，基于特征向量的聚类算法, 基于特征向量的增量聚类算法 ABSTRACT In autonomic database system,workload characterization is a key part.In workload characterization,workload should be class,then anticipate workload performance.Workload classification use cluster algorithm,and in cluster algorithm, but algorithms are complex and cost a lot of time,so can’t satisfied on-line demand.In this case,the paper bring a Incremental cluster algorithm.The algorithm is based on cluster of feature vectors,and classification in accordance with feature vectors,needn’t classification all workload.Thus,this algorithm not only save time,but also save resources. KEYWORDS Cluster, k-means cluster，cluster based on feature vectors, Incremental cluster based on feature vector 1.引言 由于网络的普及以及计算机的广泛使用，使得数据的访问量急剧增加，导致需要大量的手工管理和维护日常的数据库，这就迫使数据库管理系统向自我管理的方向发展。在这样的背景下我们提出了数据库系统负载自适应的基本框架。在该框架下，系统能够根据负载的一些特性自动完成负载的性能预测，控制等功能，框架如图1所示： 在该模型中，负载特征化部件根据负载的特征向量分类；性能预测部件通过分类的结果预测负载的资源需求(包括CPU消耗,I/O消耗等等)；负载控制部件确定负载控制方案以满足负载的性能要求；系统监测部件监视系统的运行，获取负载运行的性能参数和系统资源的使用情况。在负载特征化部件中，客户端输入的负载根据负载的特征向量分类，然后输入到性能预测部件和知识库中，性能预测部件根据分类的情况和知识库预测负载的资源需求，知识库中保存分类的结果并记录每条负载的运行情况，当系统闲时，可以根据知识库的记录重新分类。 客户端输入到负载特征化部件中的负载要求是实时在线的，所以在负载特征化部件中，分类要做到简单快速而且要保证分类的准确性，但是大部分聚类算法的时间复杂度比较高，不适合实时在线的要求，本文就在基于特征向量聚类算法的基础上，提出了一种基于特征向量的增量聚类算法，使负载的分类做到简单快速。 2. 基于特征向量的聚类算法 2.1聚类算法 聚类就是把一个没有类别标记的样本集按某种规则划分成若干类，使类内样本的相似性尽可能大，而类间样本相似性尽量小，是一种无监督的分类方法。聚类算法可以分为以下几类:划分法、层次法、基于密度的方法、基于网格的方法和基于模型的方法等。常用聚类算法有：k-means算法、STING算法、CLIQUE算法和CURE算法等等。 划分算法中的k-means算法，对处理大数据集，具有良好的可伸缩性和高效率，其时间复杂度与对象的数目有线性关系；其理论上可靠、算法简单、收敛速度快、能有效地处理大数据集而被广泛使用，所以本文采用K - means算法。k-means算法，又称K-均值算法，计算的步骤为： 1、随机选取K个对象作为初始聚