基于改进Hadoop云平台的海量文本数据挖掘.docVIP

基于改进Hadoop云平台的海量文本数据挖掘 　　摘 要 针对常用的文本数据挖掘系统在处理海量文本数据时时间效率较低的问题，论文提出了一种基于改进Hadoop云平台的海量文本数据挖掘方法.该方法首先将传统Hadoop云平台进行改进以适应海量文本数据挖掘的需要，然后将海量文本数据集和挖掘任务分解到该改进平台上的多台计算机上并行处理，从而实现了一个基于改进Hadoop云平台的海量文本数据挖掘平台，并通过对10 000篇新闻材料组成的实验数据集进行挖掘验证了该平台的有效性和高效性. 　　关键词 文本挖掘；Hadoop；云计算；文本数据 　　中图分类号 TP301 文献标识码 A 文章编号 1000-2537（2016）03-0084-05 　　Abstract To overcome the problem of low time efficiency for commonly used text data mining system in the treatment of massive text data， an improved mass text data mining method was put forward based on the Hadoop cloud platform.This method firstly improved traditional