大数据集合中冗余特征排除聚类算法设计.docVIP

大数据集合中冗余特征排除聚类算法设计 　　摘 要： 传统microRNA聚类算法对数据的新特征要求较高，未全面分析大数据集内的冗余特征，使得聚类结果均衡性差。因此，提出大数据集合中冗余特征排除的聚类算法，其采用聚类集成算法，在组构造时期通过使用一致的聚类算法抽取各种子集样本，实现大数据冗余特征的排除，获取排除冗余特征的大数据集聚类结果。对得到的大数据聚类特征分类能力以及特征关联性实施度量，采用基于特征聚类以及随机子空间的miRNA识别算法，实现大数据集合冗余特征的聚类。实验结果表明，所提算法具有较高的冗余数据排除性能，该算法下的大数据聚类效果优，具有较高的均衡性。 　　关键词： 大数据集； 冗余特征排除； 聚类算法； 特征关联性； 随机子空间； miRNA识别算法 　　中图分类号： TN911?34； TP311 文献标识码： A 文章编号： 1004?373X（2018）14?0048?03 　　Design of clustering algorithm for redundancy feature removal in big data sets 　　HOU Lisha1，2 　　（1. Tianjin University， Tianjin 300072， China； 2. Beijing Professional Business Institute， Beijing 102488， China） 　　Abstract： The traditional microRNA clustering algorithm has relatively high requirements for new features of data， and the redundancy feature in big data sets are not fully analyzed， resulting in poor equilibrium of clustering results. Therefore， a clustering algorithm for redundancy feature removal in big data sets is proposed， in which the integrated clustering algorithm is adopted， and samples of various subsets are extracted by using the consistent clustering algorithm during the group construction period， so as to realize the redundancy feature removal of big data， and obtain the clustering results of big data for redundancy feature removal. The classification capability and correlation of the obtained big data clustering features are measured. The miRNA recognition algorithm based on feature clustering and stochastic subspace is adopted to realize clustering of big data sets and redundancy features. The experimental results show that the proposed algorithm has high redundancy data removal performance， and the big data clustering effect under the algorithm is superior with high equilibrium. 　　Keywords： big data set； redundancy feature removal； clustering algorithm； feature correlation； stochastic subspace； 　　miRNA recognition algorithm0 引 言 　　?S着社会经济的飞速发展，带动信息技术和数据存储技术的迅猛发展，促使数据量规模也逐渐增大，大量的高维度数据在金融领域、生物医药领域以及数据传感领域应用较广，高维度和海量的数据中可能存在大量的冗余信息，在实际应