基于大数据平台的百度式数据检索系统设计与实现-软件工程专业论文.docxVIP

万方数据 万方数据 分类号 密级 UDC 注 1 学 位 论 文 基于大数据平台的百度式数据检索系统设计与实现 （题名和副题名） 管明亮 （作者姓名） 指导教师 陈云坪 副教授 电子科技大学 成 都 彭文钦 项目总监 亚信联创科技（成都）有限公司 成 都 （姓名、职称、单位名称） 申请学位级别 硕士 专业学位类别 工程硕士 工程领域名称 软 件 工 程 提交论文日期 2015.03 论文答辩日期 2015.05 学位授予单位和日期 电子科技大学 2015 年 12 月 答辩委员会主席 评阅人 注 1：注明《国际十进分类法 UDC》的类号。 万方数据 万方数据 Design And Implementation Of Baidu Data Retrieval System Based On Big Data Platform A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: Guan Mingliang Advisor: Chen Yunping School : School of Automation Engineering 万方数据 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘要 AB ABSTRACT 万方数据 万方数据 万方数据 万方数据 摘要 21 世纪毫无疑问是互联网时代，如今互联网中的信息每天都在爆炸式的增 长，面对海量数据的存储和分析，传统的集中式搜索引擎显得拙荆见肘。因此人 们提出了分布式搜索引擎的策略。分布式文件系统基于云计算可以合理的利用硬 件资源，进行高效的并行检索。互联网每天产生的海量数据都是宝贵的财富，但 是没有搜索引擎它们只是一堆杂乱的数据，需要耗费大量的人力去挖掘。传统的 搜索引擎都是采用关键字匹配查询，无法揣测人们的意图，使得用户很难精准的 获得自己想要的信息，因此搜索引擎的分布式智能化是未来发展的趋势。 对于企业来说一个数十万员工的企业，分支机构分布在世界各地，需要在企 业内部门户上提供面向全体员工的统一搜索服务，搜索的内容包括企业内应用所 产生的业务数据以及企业员工相关信息。大部分企业不能充分发掘自身数据的价 值,比如说现在企业数据中大多数是非结构化数据，这其中包括了 Word 文档， Excel 表格，PDF 文件，扫描图片，电子邮件，电话记录、语音留言、纸质文档、 照片、网页、视频以及其他形式的内容。由于很多企业缺乏能够理解并有效利用 这些内容的技术，使得非常有价值又充满战略意义的资源常常无法发挥其作用。 企业数据多且杂缺少统一管理平台，业务人员缺乏技术支持，对底层数据结构不 熟悉只能通过技术人员提数，效率很低。那么一款基于自然语言的智能云搜索系 统对于企业的价值是不可估量的。 本系统基于大数据平台通过新建移动行业专业术语词库、自学习的动态语义 网解析模型，采用 Lucene/Solr 分词服务器，实现了使用人员可以输入自然语言 检索经分数据。通过动态语义网语义解析模型，系统可自动收集、分析、丰富词 条语义，持续完善“自然语言与技术语言”对应词库。利用元数据配置库和统一 计算框架实现异构数据访问，融合文件、传统数据库、XML、MPP 和 HADOOP 等结构 化/非结构化的多种类型平台数据，信息查询服务由平台统一提供；利用智能任 务协同，实现查询分布式处理，快速响应信息查询服务。系统还通过利用 Spark Streaming 流处理技术，采用内存索引方式，建立后台数据的增量索引更新机 制，及时向使用者提供最新数据情况。 关键词：智能云搜索，数据检索，企业级检索，Big Data I ABSTRACT In the 21st century, there i