分布式环境下的文档相似度研究和实现.pdfVIP

DLIB ＆ OSS 20 11 论文选登 分布式环境下的文档相似度研究与实现 赵华茗 (中国科学院国家科学图书馆 北京 100 190) 【 】 摘要 针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶 ， ， Hadoop ， Hive PostgreSQL 颈问题 以非结构化文档为研究对象 提出一种基于 分布式环境 结合 数据处理平台和 关 ， 、 ， Hive SQL 系型数据库的文档相似度计算方法 并给出关键技术思路 具体实现步骤和实证研究 通过研究证明 语 ， 。 言可有效简化分布式数据处理的复杂性 但实时性有待改进 【 】Hadoop Hive 关键词 相似度 非结构化 【 】TP393 分类号 Research and Implementation of Textual Similarity in Distributed Environment Zhao Huaming (National Science Library ，Chinese Academy of Sciences ，Beijing 100 190 ，China) 【Abstract 】Aiming at the performance issue and limitation on data set size in the process of mass － data mining of tradi- tional similarity algorithm ，this paper takes unstructured textual data as research subject and introduces the method of Ha- doop distributed textual similarity algorithm ，which combines Hive data mining platform with PostgreSQL RMDB ，and de- scribes the basic technical ideas ，implementations and the empirical research in details． The testing result shows that Hive SQL can effectively simplify the complexity of distributed data mining but its real － time performance should be improved． 【Keywords 】Hadoop Hive Similarity Unstructured 1 引 言 ， 、 、 、 文档相似度计算是一种常见的信息分类和信息挖掘方法 在信息检索 数据挖掘 机器翻译 相似性检测等领 ［1 － 3］ 。 ， 。 ， 域有着广泛的应用 随着互联网的发展 数字信息成几何级数增长 在海量信息处理过程中 和很多数据挖 ， ， ， 掘算法一样 传统的相似度计算方法 暴露出数据处理规模及性能等方面的不足 这使得如何将传统的信息挖掘