分布式全文检索系统中索引管理及文件预处理研究控制科学与工程专业论文.docxVIP

中国科学技术大学硕士学位论文 中国科学技术大学 硕士学位论文 分布式全文检索系统中索引管理 及文件预处理研究 作者姓名： 戴上静 学科专业： 控制科学与工程 导师姓名： 吴刚教授 完成时间： 二O一五年五月 万方数据 ’’’’iversit飞of ’’’’iversit飞ofot ScienceScience andand Technol0931ectmoloKy ofot hma A Dis sertation for Master’S Degree Research on lndex Management and Fi le Pretreatment of Distri buted Author’S Name： Shangj ing Dai Speciality： Control Science and Engineering Supervisor： Professor Gang Wu ”o r inisnecI tlme： May，201 5 万方数据 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确 的说明。作者签名：必 签字日期：20／厂．夕．2r 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 口公开 口保密( 年) 作者签名：彗盥 导师签名： 签字日期：兰1 2￡：篁：堕 签字日期：型墨：鱼：l 万方数据 摘要摘要 摘要 摘要 信息时代，数据规模呈现爆炸式增长，非结构化信息越来越庞大。网络中的 信息具有海量规模和非结构化两大特点，传统的集中式索引难以提供高效、可靠 的服务，需要建立分布式全文检索系统，处理海量的非结构化信息。 分布式检索系统的主要处理对象是文本数据，使用自然语言进行检索，就需 要对网络上获得的各种类型的数据进行文本提取、自然语言的分词，以便建立结 构化的索引。同时也需要建立分布式索引管理机制，实现索引在各节点的负载均 衡、数据同步、分布式查询，并保证信息安全。本文主要研究分布式检索系统的 文本提取、中英文混合分词、分布式索引管理。 本文设计并实现了支持多种文件格式的文本实时提取系统。该系统包括文件 实时监控、文件类型识别、编码识别与转换、文本内容提取四个模块，使用Inotify 监控数据源，将发生写操作的文件加入任务队列，识别文件类型，针对文件类型 采取相应的方案进行文本提取，提取Office系列文档、pdf文档、压缩文档、邮 件文档、网页文档和xml文档等文件的文本内容，制成统一编码的纯文本文件。 本文设计并实现了中英文分词器对中英文语料进行分词。分词器包括中文分 词、英文分词、混合分词三个子分词器，均基于Tile树构造词典。处理文本时， 首先调用混合分词器，若分词不成功则根据当前字符的语种分别调用中文或英文 分词器。中文分词器采用折半扫描的正向增字最大匹配算法采集歧义字段，并设 计了一套歧义处理机制来消歧。英文分词器结合波特词干算法与词典匹配法提取 单词词根。结合三种分词器，能对中英文混合的语料文本准确高效地分词。 本文设计并实现了基于Katta的分布式索引管理平台，用于管理大规模索引 文件，并实现了提供给用户的搜索接口和交互页面。从Katta源码中开发出接口 函数，建立了一套任务管理机制，定时合并索引，并利用Zookeeper的虚拟文件 系统解决索引更新和客户端搜索之间的冲突。采用Tomcat搭建Web服务器，通 过JSP／Servlet技术与客户端交互，优化了搜索算法，支持分页查询、条件查询 等高级搜索，为客户端提供简洁的搜索页面，设计了一套页面缓存算法增强用户 体验。将数据源挂载到Web服务器，使客户端能从结果列表的链接查看原始文 件，提高了搜索性能，用户体验良好。 关键词：全文检索 分布式 文本提取 中文分词Katta页面缓存 万方数据 摘要 11 万方数据 断袖the 断袖the advent of the information age，the size of data get explosi