分布式全文检索系统中索引平台和信息过滤的研究与应用控制科学与工程专业论文.docxVIP

中国科学技术大学硕士学位论文 中国科学技术大学 硕士学位论文 分布式全文检索系统中索引平台 和信息过滤的研究与应用 作者姓名： 王一霈 学科专业： 控制科学与工程 导师姓名： 吴刚教授 完成时间： 二O一五年五月 万方数据 University University of Science and Technology of China A d issertation for master’S deg ree Research on the distributed i ndexi ng platform and information filter in distributed fu l l-text retrieval system A砒or，S Name： Yipei Wang speciality： Control Science and Engineering Supervisor：Professor Gang Wu Finished time： May,201 5 万方数据 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期： 塑!S堡6旦!旦 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 作者签名： 4 翩龋罢剑导师签名： 盗陛圈 Ⅶ蠡开 口保密(——年) 签字日期： №!￡堡5亟19 签字日期： 边』!：6：1 万方数据 摘要摘要 摘要 摘要 随着网络时代的飞速发展，数据和信息充斥着社会生活的各个领域。人们的 日常行为逐渐和网络密不可分，人们利用网络获取新闻、进行社交活动和即时通 讯，发送和记录工作文档等，这些行为产生的数据都被存储在网络中。由于网络 和大数据带来的变革，人们日常获取的信息量在急速增加，人们获取信息的方式 也更为复杂和多样。分布式计算技术和全文检索技术是应对大数据洪流的有效工 具，前者能够负载海量数据，后者能够在大规模数据中快速检索到有用信息。 本文的研究背景是分布式全文检索系统，该系统针对海量多格式文件进行存 储并支持快速文本检索。系统采用分布式架构设计，能够并发完成文件预处理、 建立索引及存储功能，并将文件存储在分布式文件系统中。分布式全文检索系统 包含如下结构：文件预处理前端、分布式索引平台、分布式文件存储系统、索引 管理平台和web检索平台。其中，文件预处理前端和分布式索引平台协同完成 对大规模多格式文件中文本内容的索引任务；索引管理平台和web检索平台协 同完成对索引文件的管理和检索任务；分布式文件存储系统负责为系统中的各个 模块提供文件存储和管理支持。 本文主要设计并实现了分布式全文检索系统中的分布式索引平台，索引平台 基于Hadoop分布式计算库构建，实现了对海量文本文档并发建立索引。本文提 出了索引平台的基本架构，阐述了索引平台的分布式计算过程、索引平台中的共 享与并发机制和索引评分机制等。本文还设计实现了文件预处理前端中的信息过 滤模块，信息过滤模块可实现基于关键词的文档过滤功能，识别系统不需要处理 的文档。信息过滤模块主要包括以下内容：单模式匹配模块、多模式匹配模块以 及与或匹配模块。本文研究了每个模块相关的基本算法，针对算法在中文环境下 实际应用中的不足进行了改进，测试结果表明改进后的算法性能得到了进一步提 升。 关键词：全文检索，分布式计算，索引，Lucene，Hadoop，信息过滤，模 式匹配算法 万方数据 摘要 II 万方数据 AbstractAbstract Abstract Abstract With the rapid development of the Interact era，each field of social life is surrounded by data and information．People’S daily behavior is closely related with the Internet．People use I