面向教育垂直搜索引擎框架及其应用.docVIP

面向教育垂直搜索引擎框架及其应用 　　[摘 要] 与通用搜索引擎相比，教育垂直搜索引擎能更快、更准确地帮助学习者搜索资料。但由于商业原因，搜索引擎的内部结构和实现细节很少公开，这使得开发搜索引擎成为教育技术领域的一项困难任务。为此，设计了一种面向教育的垂直搜索引擎框架，并对其内部结构进行了详细阐述。基于此框架，开发了一个面向教学视频的垂直搜索引擎。实践证明，此框架能屏蔽大量技术细节，加速具体教育垂直搜索引擎的开发。 　　[关键词] 教育搜索引擎； 教育搜索； 教育知识库； 垂直搜索 　　[中图分类号] G434 [文献标识码] A 　　[作者简介] 王晓春（1976―），男，辽宁锦州人。讲师，主要从事知识工程、教育信息检索研究。E-mail：wang_xiaochun@。 　　 　　一、引言 　　随着互联网技术的发展，信息搜索已经成为继电子邮件之后的第二大网络应用。信息搜索技术为互联网带来商机的同时，也为科技、教育的发展提供了更有利的条件。学生、教师开始利用搜索引擎进行知识查找和课程辅助学习。然而，通用搜索系统给出的检索结果往往过于繁杂，极大地增加了用户甄别信息价值的时间，使其不能满足学生、教师在学习和备课过程中对信息的精准化需求。学生、教师在学习和备课中用的搜索引擎应具有更多的针对性，减少搜索、浏览在学习时间中的比重，提高学生的学习效率、教师的备课效率。 　　垂直搜索研究为通用搜索引擎的这种不足提供了新的解决方案。[1]它利用行业信息模型和领域特征，在收集信息时去除领域无关的信息，在信息检索时实现更优秀的查询扩展，[2]从而提高搜索结果的查全率和查准率。但，目前发展比较成熟的商业搜索引擎的内部工作原理被认为是商业秘密，工作细节很少公开；[3]关于搜索引擎系统框架的文章也有一些，[4][5]但多数不是最近文献；也有一些针对教育方面搜索引擎的研究，[6][7]但未对教育搜索引擎框架给出详细的描述，这使得开发教育搜索引擎成为教育技术领域一项困难的任务。为此，本文结合教育领域特征和搜索需求的多样化，研究面向教育的垂直搜索引擎框架及其关键技术，为快速开发教育领域垂直搜索引擎提供一种解决方案。 　　二、 面向教育的垂直搜索引擎框架 　　 　　面向教育的垂直搜索引擎软件框架在通用搜索引擎体系结构的基础上，受到教育领域特征和相关领域知识的制约，由基于教育领域特征的资料采集、索引和检索等模块组成（如图1所示），并涉及资料库、倒排索引库、教育知识库和查询日志库等内容存储。其中教育资料采集模块负责依据搜索引擎的服务对象和工作范围收集要索引的内容并将其存放于资料库中。索引模块负责利用资料库中的索引对象，建立基于关键字的倒排文档结构，并存于倒排索引库中；检索模块负责依据用户的查询内容描述，从倒排索引库中检索出相关内容，并利用教育知识库的知识对检索结果进行排名，并呈现给用户，是用户和搜索引擎之间的接口；查询监控模块则负责将用户同搜索引擎的交互行为记录下来并存放于查询日志库中，再通过日志挖掘从中提取各种知识，并存于教育知识库中以供检索模块使用。 　　（一）特定领域资料库的建立 　　作为一个搜索系统，资料库建立是整个开发的第一步，将首先定义系统的服务对象，在此基础上将进一步确定搜索对象、索引对象，资料的获取方法以及资料采集中能利用的知识。 　　确定系统服务对象，即确定系统服务的基本用户群，属于软件工程领域范畴，它将决定系统的功能定位，确定一个搜索系统能搜索到的内容，从而确定资料采集模块需要收集哪些内容以形成资料库，是一个垂直搜索引擎系统成功与否的关键步骤。 　　搜索对象是指用户要寻找的内容实体，如网站、教学网页、文章、教学视频、音频、flash文件等。其中，视频、音频等文件不适合直接作为索引对象，不能直接与结构化、半结构化文档形成统一的索引框架。因此，系统自动收集或人工录入音频、视频等文件的半结构化文本描述，从而使所有数字化教育资源统一于基于半结构化文本描述的文档对象模型，并在相应文档对象实例中保存搜索对象的位置链接使二者关联起来，从而便于索引和搜索。 　　索引对象是指搜索对象统一的半结构化文档描述，在资料采集时存于资料库中。每个索引对象由若干个域组成，用于存放索引对象的特征和组成，这为设置索引对象描述的各组成部分的相对重要性提供了便利，为查询理解和检索结果排名提供了改善性能的依据。 　　搜索对象的获取方式受到其自身存放位置与存在形式的制约。由于绝大多数情况下搜索对象会存放于相关网站上，这时通常采用爬虫将要索引的内容信息下载到资料库中，并采用同一网站内网页间风格相似性等特征清除页面内的广告垃圾。[8]对于视频、音频等文件，通常不需要将其下载到本地，只需要以网址的形式保存其位置链接，同时采集其描述信息以生成相应的索引对象，