基于Hadoop的并行实体解析方法研究与应用的开题报告.docxVIP

基于Hadoop的并行实体解析方法研究与应用的开题报告

一、选题背景和研究意义

随着大数据技术的发展，海量的数据已经成为了当今社会的一种趋势和现象。但是，数据的质量与数据的量同等重要。数据的正确性直接影响到数据的应用效果。而实体解析技术则是保证数据正确性的一个重要手段。实体解析可以将文本数据中的实体抽取出来，并对实体进行分类和归纳，最终达到对数据进行利用和挖掘的目的。

在现有的实体解析方法中，基于机器学习的方法已经得到了广泛运用。但是，在实际应用中，随着数据量不断增加，机器学习的训练与预测速度也会变得非常缓慢。因此，基于Hadoop的并行实体解析方法的研究与应用，具有重要的现实意义。

二、研究内容和目标

本研究将基于Hadoop平台对实体解析方法进行并行化优化。具体而言，将贝叶斯分类器和条件随机场模型的实体解析算法并行化，并将其应用于大规模文本数据的实体解析任务中。同时，本研究将考虑优化并行算法的粒度和负载均衡问题，提高实体解析的效率和准确性。

三、预期目标和研究难点

预期目标：

1.通过并行化实现实体解析算法的高效率处理。

2.提高实体解析的准确性并降低误识别率。

3.降低实体解析的计算成本并提高处理效率。

研究难点：

1.面对大规模数据，如何进行任务划分，选取合适的并行方案，并保证精度和正确性。

2.设计并行解析算法，提高并行算法的发掘效率以及预测准确率，解决实体解析过程中算法的生成规则与模型优化的问题。

四、研究方法和技术路线

本研究采用以下研究方法：

1.分析和比较现有实体解析算法，探索适合Hadoop平台的算法并对其进行并行化优化。

2.针对海量文本数据的实体解析需求，设计和实现并行化实体解析系统。

3.借助Hadoop平台，构建实体解析的大规模计算环境，并进行并行算法的实验。

4.对实验结果进行分析并优化实验。

技术路线如下：

1.研究和分析目前的实体解析算法，主要探索贝叶斯分类器和条件随机场模型等经典算法。

2.根据对目前算法的分析，根据Hadoop平台特点，设计适合大规模并行实体解析的搜索算法。

3.实现基于Hadoop平台的实体解析工具，并与现有工具进行比较测试。

4.对实验结果进行总结和分析，以实现提高实体解析准确性和处理效率的目标。

五、预期进展和成果

预期进展：

1.在当前研究的基础上，提出一种高效的并行实体解析算法。

2.实现基于Hadoop平台的实体解析工具，并在实际应用中进行测试和验证。

预期成果：

1.发表一篇相关的论文，并将论文提交到相关国际会议。

2.开发一种可应用于实际生产环境的并行实体解析工具。

3.为未来的实体解析研究提供一个基础样例和优化方案。

六、参考文献

[1]HanafyM.TowardsparallelizationofnamedentityrecognitiononApacheHadoop[J].ProcediaComputerScience,2016(102):220-227.

[2]LiCH.ResearchonparallelnamedentityrecognitionmodelbasedonHadoop[C]//2016InternationalConferenceonCyber-EnabledDistributedComputingandKnowledgeDiscovery(CyberC).IEEE,2016:221-226.

[3]常玉芳,姜君,姚钟琴.基于最大熵和Hadoop的并行实体识别[J].软件学报,2016(5):1073-1092.

[4]田丰,王宏伟.基于Hadoop的分类信息提取算法研究[J].计算机科学,2016(8):85-87+119.