基于关键词相关度的搜索引擎设计——以天津电大远程教育资源库为例.pdfVIP

第 15卷 第 3期 天津 电大学报 2011年 9月 JournalofTianjinRadioTVUniversity 基于关键词相关度的搜索引擎设计 — — 以天津电大远程教育资源库为例 周 莹 (天津广播电视大学，天津300191) 摘 要：基于语义Web的关键词相关度的搜索模型，是通过计算搜索关键词在各类教学资源网页主要内容文 档块中出现的条件概率，来描述该网页与搜索关键词的相关度，同时利用教学资源网页与资源库课程的归属关 系，修正计算的相关度结果。该智能搜索系统能够有效地解决用户搜索资源库时返回过多不相关页面的现状， 同时根据媒体、课程与关键词的相关度进行排序，使用户能够从系统返回的近似媒体簇中迅速得到有用信息， 从而提高检索准确率。 关键词：语义Web；关键词；相关度；搜索模型；快速检索 中图分类号：TP301．6 文献标识码：A 文章编号：1008-3008(2011)03-0043-04 搜索引擎是一种帮助互联网用户查询信息的搜 型通常使用概率和分布函数来描述词、词组及句子等 索工具，它以一定的策略在互联网中搜集、发现信息， 自然语言基本单位的性质和关系，它体现了自然语言 对信息进行理解、提取、组织和处理，为用户提供检索 中基于统计原理的生成和处理规则。在统计语言建模 服务，从而起到信息导航的作用。 中，任何一种自然语言的单词量都非常大，而且句法复 在资源库系统中，搜索引擎的主要任务是主动搜索 杂，构成的句子数 目无限，无法表示出所有句子的概 服务器媒体资源信息并 自动索引，其索引内容存储于可 率。所以，统计语言模型一般都是将句子的概率分解成 供查询的大型数据库表中，当用户输入关键词查询时， 各个单词条件概率的乘积。信息检索领域中统计语言 搜索引擎会返回包含该关键词信息的所有相关媒体资 模型的基本思想就是通过计算条件概率P(QId)来描述 源 ，并提供通向该媒体资源的链接地址。计算查询关键 文档和查询词的相关度。对于词序列w。W2…wm，根据链 词与各类教学资源网页相关度的搜索引擎，按照相关度 式原则，由公式 l可得出句子的概率Pw(。W2…w 。 排序，能够实现检索的快速有效。 P(wlW2…w =P(w1)rt~2P(wilw2…Wi一1)(公式 1) 由于在语言模型使用过程中，很多n元词序列的 一 、 统计语言模型 出现概率没能在训练语料中观测到，因此如何有效估 语言模型是针对某种语言建立的概率模型，使得 算这些单元的概率成为统计语言模型最大的问题之 正确词序列的概率值大于错误词序列的概率值。语言 一 。 分析和应用文档上下文信息，辅以解决文档中因 模型建模方法分为两大类，一类是完全地依靠文本的 缺乏查询关键词产生的数据稀疏问题，被称为语言模 数据 ，用统计的方法建模 ；另一类是以Chomsky的语 型的平滑措施。基于资源库的 媒“体一课程—关键词” 言形式为基础确定语言模型，这种方法更注重对语法 相关关系的语言模型，利用资源库中媒体编 目的少量 信息的分析。 信息，考虑媒体与课程的归属关系来获取 媒“体—关 统计语言学是语言学研究中较为年轻的分支，以 键词”相关关系，对已有的语言模型进行平滑处理，可 简单有效的特点在实际应用中获得成功。统计语言模 以帮助提高检索准确率。 ＼ 收稿