海量题库中特定数据搜索系统设计与实现.docVIP

海量题库中特定数据搜索系统设计与实现 　　摘 要： 在挖掘海量数据集过程中，传统海量数据检索方法无法适应海量题库中数据的快速增加趋势，不能在有限时间内获取高质量的挖掘结果。因此，采用Elastic Search 分布式架构技术，设计并实现了海量题库中的特定数据快速搜索系统。该系统由用户界面、数据库连接模块、数据抽取模块、索引塑造检索以及索引检索和数据搜索模块等构成。详细介绍了数据抽取模块、索引塑造模块以及索引检索模块的设计和实现过程，3个模块共同实现海量题库中的特定数据快速搜索任务。实验结果表明，该系统的搜索平均响应时间、系统资源消耗以及索引检索性能三方面的性能较高，能够满足用户快速检索特定数据的需求。 　　关键词： 海量题库； 特定数据； 数据搜索； 检索方法 　　中图分类号： TN911?34； TP311.52 文献标识码： A 文章编号： 1004?373X（2016）20?0049?04 　　Abstract： In the process of mining huge amounts of data set， the traditional massive data retrieval method is unable to adapt to the rapidly increasing trends of data in the massive question banks， and can not achieve the high quality mining results within a limit time. Therefore， the system for specific data fast search in the massive question banks was designed and implemented with Elastic Search distributed architecture technology. The system consists of user interface， database connection module， data extraction module， index shaping retrieval module， index retrieval module， data search module， etc. The design and implementation processes of data extraction module， index shaping module and index retrieval module are introduced in detail. The three modules accomplish the quick search task of specific data in the massive question bank collaboratively. The experimental results show that the system has high performance in three aspects of average response time， system resource consumption and index retrieval performance， and can meet users′ needs to quickly retrieve the specific data. 　　Keywords： massive question bank； specific data； data search； retrieval method 　　0 引 言 　　随着计算机技术的发展以及教育方法的不断改进，计算机题库系统对于确保高质量考试具有重要应用意义[1?2]。海量题库中的信息产生的数据具有规模大和形成速度快的特征，如何对这些海量数据进行高效检索，成为当前分析的重点方向[3]。传统海量数据检索方法，无法适应海量题库中数据的快速增加趋势，数据检索效率和质量较低，存在较大的弊端[4?6]。文献[7]提出的改进并行算法采用主从模型实现划分聚类算法的并行，算法运行的停止条件为是否符合覆盖参数，实现特定数据的挖掘，但是该方法受到覆盖参数的限制，存在较高的局限性。文献[8]通过I?TREE INDEX算法挖掘特定数据，该算法可对系统内存使用状态进行分析，如果内存较低，则先划分原数据集，再挖掘划分后的数据集，并融合挖掘结果，得到最终的特定数据挖掘结果，但是该算法耗能量较高。文献[9]分析了Scalable?kmeans算法，该算法利用三元组保存