MED算法及其在网页搜索中的应用.pdfVIP

第36卷 第2期 计 算 机 工 程 2010年 1月 Vo1．36 No．2 ComputerEngineering January2010 · 软件技术与数据库 · 文章编号：1o00_--3428(20l0)02—o036—o3 文献标识码：A 中啊分类号lTP391 MED算法及其在网页搜索中的应用 叶福军 (浙江传媒学院动画系，杭州 310018) 摘 要：针对传统方法不能很好地处理网页中简短域和用户查询之间的相关性排序问题，提出一种改进的编辑距离(MED)排序算法，在编 码和计算过程中引入查询词分布的位置、顺序和距离等信息，将查询和简短域之间的相关性问题转化为编码字符串的相似性问题。仿真实 验结果表明，与传统的相关性排序算法相比，该算法可以提高网页搜索中简短网页域的相关性排序性能。 关健诃：网页搜索；相关性排序；编辑距离；字符串匹配 M odifiedEditDistanceAlgorithm andItsApplicationinW ebSearch YEFu-jun (Dept．ofAnimation，ZhejiangInstituteofMediaandCommunications，Hangzhou3lOO18) [Abstract]AimingattheproblemsthathtetraditionalmehtodscallnotperformwellonhteshortWebpagefields，aModifiedEditDistance(MED) algorithm isproposed．Inhteprocessofencodingandcalculating，thealgorithm usestheposition，order，anddistanceinformation，SOhteproblem on therelevancebetweenhtecorrespondingqueryandshortfieldcanbeconvertedtohteproblem onthesimilaritybetweenhteencodingstrings． Simulationexperimentalresultsshow thisalgorithm cansignificantlyoutperform thetraditionalalgorihtmsforrelevanceranknigonshortWeb fields，especiallyofrve~ shortfields． ． [Keywords]Websearch；relevanceranking；editdisatnce；srtingmatch 1 概述 泛应用 。 网页相关性排序是搜索引擎的核心技术，它决定了用户 2．1 编码过程 看到的结果网页的先后顺序。因此，网页相关性排序方法的 编码过程将以词为单位的用户查询和简短网页域编码转 好坏直接影响用户对搜索引擎的印象。当前大多数相关性排 换为相应的以字符为单位的查询编码字符串和域编码字符 序算法都采用 “词频”信息计算网页和查询之间的相关性， 串。首先定义一个操作过程的字符空间：代表查询词序列位 如常用的TF和DF信息，前者表示用户查询词在候选文档中 置 的字 符集合 {a，b，… }和与之互 补 的集 合 = 的出现次数，后者代表查询词在整个文档集合中出现的次 {，，…，7)。字符，b，…代表查询中第1个～第10个查询词。 数…。目前常用的以BM25为代表的