报业综合搜索引擎要点.doc

项目编号 创新基金项目 申 请 书 项 目 名 称： Nutch的报业垂直搜索引擎的设计与研究 申 请 者： 指 导 教 师： 所 在 院 系： 申 请 金 额： 申 请 日 期： 联 系 电 话： 创新基金项目管理办公室制 一、基本情况 二、研究方案 1．研究目的和意义： 搜索引擎技术近年来获得飞速发展，目前全球搜索引擎中最顶尖的两个巨头是Google和雅虎。在国内，也产生了大量的中文搜索引擎，如：百度、搜狐、天网、中搜等。这些搜索引擎系统中，有的日访问量超过5亿次每天要“消化”数以十亿计的网页 2. 研究内容与方法： 1、项目研究主要内容和拟解决的关键问题 本项目拟通过构建对象语义库来存储和管理各种对象集，从而实现用户基于对象的检索过程，以提高搜索引擎查询的准确率。考虑通过在用户检索的过程中加入用户交互的过程，即：当用户检索一组关键词后，返回给用户的是一组对象集，用户从这些对象集中选择感兴趣的对象，以缩小查询范围。用户将选定的对象再提交给搜索引擎系统进行检索，得到最终的检索结果。这样，采用对象语义库来辅助搜索过程，可以在很大程度上提高搜索引擎结果集的准确性，可以让用户很快定位到想要的内容网页。 本系统所着重解决的关键技术问题主要包括： 报业引擎系统的搭建：针对已有的报业基础数据，搭建综合云检索引擎，搭建搜索引擎底层系统。主要包括，爬虫模块、索引模块、Web查询服务模块。 对象语义库的构建问题：主要参照人类认识事物的方式根据关键词构建对象语义网络。如：可根据关键词，美国、篮球、上海、运动员等关键词确定我国著名篮球运动员姚明，这样在对象语义库中存储如下信息：对象名为姚明，关键词组为美国、篮球、上海、运动员。对象语义库的构建是一个复杂的过程，需要不断完善。 用户搜索页面的设计：添加用户交互部分页面，这些内容将使用JSP语言实现，搜索过程调用引擎底层API（具体处理过程见图1）。 对象语义库的自适应性更新：根据用户对查询结果的点击行为以及用户的查询关键词组，采用统计的方法由系统自主更新对象语义库，使得对象语义库不断完善。 2、拟采取的研究方法、技术路线、实验方案及可行性分析 系统开发采用底层搜索引擎系统，在Nutch的基础上，使用Oracle数据库存储对象语义库。用户在搜索的过程中首先根据关键词检索对象语义库，返回用户匹配的对象，用户从对象列表中选择特定的对象进行检索，最后，搜索引擎系统再将检索结果返回给用户。考虑到对象语义库的准确性、完整性问题，本系统通过用户的检索关键词以及对检索结果的点击，实现动态的对对象语义库进行更新。 系统处理流程如图1所示： 图1智能语义搜索处理流程图 图1中各步骤的处理流程如下： 用户基于关键词的查询； 由关键词提取对象信息，并将检索的对象结果列表返回用户； 用户从对象列表中选取所需的对象并提交给索引系统进行检索； 在索引库中检索网页内容，此时可以分为两类：（I）检索对象索引库，找到命中的网页；（II）检索Nutch的关键词索引库，作为基于对象的检索的补充，这部分结果在搜索结果集中排在对象检索结果的后面； 返回用户检索结果集； 记录用户的点击行为，实时更新对象索引库。 项目在实施的过程中主要是在导师的指导下，与指导老师开展广泛的团队协作开发与研究工作，项目建设周期拟定为1年，采用项目负责人负责制，由导师负责项目的总体协调、指导工作，严格管理项目经费使用情况。及时向学校教务处报送项目的进展情况，接受项目监督部门的监督，同时积极与其它创新团队开展各种方式的交流活动。 在系统开发的过程中将采用软件工程的方法，经历系统需求分析，系统概要设计，系统详细设计，系统编码，系统测试等步骤。项目管理主要采用工程化的管理方法，在导师团队的指导下，充分发挥项目团队中各成员的专业基础、已具备的能力水平。由项目负责人负责项目的管理工作，使用MS Project2003辅助进行项目管理，严格控制项目进度、节约开发成