基于大规模中文搜索引擎的搜索日志挖掘.pdfVIP

维普资讯 第25卷第6期 计 算 机 应 用 研 究 Vo1．25No．6 2008年 6月 ApplicationResearchofComputers Jun．2008 基于大规模 中文搜索引擎 的搜索 日志挖掘冰 陈红涛，杨放春，陈 磊 (北京邮电大学 交换与智能控制研究中心，北京 100876) 摘 要 ：从 中英文用户的搜索习惯差异 的角度 出发 ，引入 中文分词技术对 中文搜索引擎的搜索 日志进行 了分 析。重点分析 了用户输入搜索词的一些规律 ，包括选择的语言、搜索词的长度和频率、高级搜索技巧的使用以及 搜索词的修改情况 ；还提 出了用户提交搜索词的模型，给出了历史搜索词对搜索结果的影响因子算法。 关键词：搜索引擎；数据挖掘；搜索 日志；分词 中图分类号 ：TP391 文献标志码：A 文章编号 ：1001—3695(2008)06—1663．03 Miningquerylogoflarge—scaleChinesesearch engine CHEN Hong-tao，YANG Fang—chun，CHEN Lei (SwitchingIntelligenceControlCenter，BeifingUniversityofPostsTelecommunications，Beijing100876，China) Abstract：Thispaperfocusedonanalyzingthequerylogoflarge—scaleChinesesearchengine．Itconcernedthedifferencesof searchinghabitsbetween ChineseandEnglish users。andappliedaChinesesegmentationtechnology in someexperiments． Thenpresentedsomestatisticalanalysisresultsincludingtheusinglanguage，thelengthandfrequencyofquery words，theuti— lizationofadvancedsearchtechniques，andthemodificationofquery words．Additionally，describedamodelofquery words modification，andpresentedthecomputationoftheimpactfactorsofallquery wordswithinasession． Keywords：searchengine；datamining；query log；segmentation 词，给出了用户搜索行为模型，通过计算历史查询词对搜索结 O 引言 果的影响改善搜索引擎的结果。 随着互联网信息的急剧膨胀 ，搜索引擎 已经成为互联网用 1 数据对象及相关工具介绍 户必不可少的助手。目前几大主要的搜索引擎都采用如下的 工作原理：用户输入搜索关键字，搜索引擎将关键字与预先存 1．1 搜索 日志 储的网页倒排文档进行匹配；然后按照一定的算法输出网页 本文选择 Sogou搜索引擎提供的2006年 8月搜索 日志进 URL集合。这种简单地采用搜索关键字匹配的方法往往无法 行分析。该 日志 已经对原始数据进行了清理 ，去除了无效搜 反映用户的真实需求。因此 ，对用户