文本处理中的mapreduce技术-中国云计算.pdfVIP

第 卷 第 期 中文信息学报 ， ２６ ４ Ｖｏｌ．２６ Ｎｏ．４ 　 年 月 ， ２０１２ ７ ＪＯＵＲＮＡＬＯＦ ＣＨＩＮＥＳＥＩＮＦＯＲＭＡＴＩＯＮＰＲＯＣＥＳＳＩＮＧ Ｊｕｌ．２０１２ 　 　 　 　 文章编号： （ ） １００３００７７２０１２０４０００９１２ － － － 文本处理中的Ｍａ Ｒｅｄｕｃｅ技术 ｐ ， １ ２ １ ， 李锐 王斌 （ ， ； ， ） 中国科学院计算技术研究所 北京 中国科学院研究生院 北京 １． １００１９０２． １００１９０ ： 、 ， 摘 要 用于文本处理的很多数据集已经达到ＴＢ ＰＢ甚至更大规模 传统的单机方法难以对这些数据进行有效处 　 。 ， 理 近年来出现的Ｍａ Ｒｅｄｕｃｅ计算框架能够以简洁的形式和分布式的方案来解决大规模数据的并行处理问题 得 ｐ 。 ， 、 到了学术界和工业界的广泛认可和使用 目前 Ｍａ Ｒｅｄｕｃｅ已经被用于自然语言处理 机器学习及大规模图处理 ｐ 。 ， 、 ； 等领域 该文首先对 Ｍａ Ｒｅｄｕｃｅ做了简单的介绍 并分析了其特点 优势还有不足 然后对 Ｍａ Ｒｅｄｕｃｅ近年来在 ｐ ｐ ； 文本处理各个方面的应用进行分类总结和整理 最后对 Ｍａ Ｒｅｄｕｃｅ的系统和性能方面的研究也做了一些介绍与 ｐ 展望。 ： ； ； ； ； 关键词 文本处理 Ｍａ Ｒｅｄｕｃｅ 分布式计算 综述 Ｈａｄｏｏ ｐ ｐ 中图分类号： 文献标识码： ＴＰ３９１ Ａ 　　　　 Ｍａ ＲｅｄｕｃｅｉｎＴｅｘｔＰｒｏｃｅｓｓｉｎ ｐ 　 　 　 ｇ ，