基于大规模中文搜索引擎搜索日志挖掘.docVIP

基于大规模中文搜索引擎搜索日志挖掘 　　摘要：从中英文用户的搜索习惯差异的角度出发，引入中文分词技术对中文搜索引擎的搜索日志进行了分析。重点分析了用户输入搜索词的一些规律，包括选择的语言、搜索词的长度和频率、高级搜索技巧的使用以及搜索词的修改情况；还提出了用户提交搜索词的模型，给出了历史搜索词对搜索结果的影响因子算法。 　　关键词：搜索引擎； 数据挖掘； 搜索日志； 分词 　　中图分类号：TP391文献标志码：A 　　文章编号：1001－3695(2008)06－1663－03 　　 　　0引言?? 　　 　　随着互联网信息的急剧膨胀，搜索引擎已经成为互联网用户必不可少的助手。目前几大主要的搜索引擎都采用如下的工作原理：用户输入搜索关键字，搜索引擎将关键字与预先存储的网页倒排文档进行匹配；然后按照一定的算法输出网页URL集合。这种简单地采用搜索关键字匹配的方法往往无法反映用户的真实需求。因此，对用户的搜索行为进行深层次的分析将有助于提高搜索引擎的质量。 　　?ス?内外有不少对搜索引擎用户行为分析的研究成果。文献[1]通过分析用户点击的URL类型，对用户的搜索需求进行分类；文献[2]对大型英文搜索引擎日志进行分析，总结了一些英文用户的搜索规律；文献[3~5]着重分析了中文搜索引擎用户的一些搜索规律。其中，文献[4，5]还对用户的查询串和点击URL进行拟合，发现拟合结果符合Heaps定律。但是目前针对中文搜索引擎日志的研究，很少有从中、英文语言的差异以及中、英文搜索引擎用户的搜索习惯差异的角度进行分析；此外，专门针对用户查询词的数据挖掘较少，而查询词是用户搜索意图最直接的体现；已有的针对搜索引擎日志的研究大多是基于北京大学天网搜索引擎或者某个专用领域的搜索引擎，这些搜索引擎的用户群规模有限，不能真正反映目前主流的大规模商业搜索引擎的用户搜索行为规律。 　　?ケ疚难≡?Sogou搜索引擎日志作为研究对象，从中英文语言差异的角度出发引入中文分词算法，更深一步地分析中文搜索引擎用户的搜索规律。并且，本文还重点分析了用户的查询词，给出了用户搜索行为模型，通过计算历史查询词对搜索结果的影响改善搜索引擎的结果。 　　 　　??1数据对象及相关工具介绍?? 　　 　　1．1搜索日志?? 　　本文选择Sogou搜索引擎提供的2006年8月搜索日志进行分析。该日志已经对原始数据进行了清理，去除了无效搜索，得到有效搜索记录为21 362 462条。此外本文在对查询串进行分词处理时选择2006年8月1日的搜索日志。其中，有效搜索记录为1 030 577条。 　　??Sogou提供的搜索日志为纯文本文件，数据格式为：用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL。本文主要对其中的“查询词”进行分析。?? 　　1．2分词工具?? 　　本文的中文分词部分实验采用中国科学院计算技术研究所开发的基于多层隐马尔科夫模型的汉语词法分析系统ICTCLAS(Institute of Computing Technology，Chinese lexical analysis system)。该系统提供开源分词模块，能够对中文语句进行有效分词。 　　?シ执什捎玫拇实浒?括三部分：a)中国科学院计算技术研究所提供的Dictionary Free Build0705。b)由Sogou提供的基于互联网语料环境的高频词库v1．0，该词库涵盖了中文互联网??1亿页面以上出现的15万条高频词。c)本文对2006年8月Sogou搜索引擎用户输入的查询词进行分析，选择添加了部分高频的查询词。 　　?? 　　2搜索日志初步分析?? 　　 　　2．1查询语言的分析?? 　　通过对搜索日志的统计，得到2006年8月总计查询次数为21 362 462。其中，纯英文字符查询次数为2 064 155，占总体的9．7% ；中英文混合查询次数为1 823 077，占总体的8．5%；少量非常规字符，如日文、不合法字符，对分析结果的影响可以忽略不计；其余全部为中文查询，占总体的81．8%。可见，目前中文搜索引擎的用户主要还是采用中文查询词进行搜索。?? 　　2．2查询词长度的分析?? 　　为区分分词前后用户查询词的表示方式，本文定义用户原始输入的搜索关键字为“查询串”，一个查询串可以由多个短语组成，相邻两个短语之间由空格隔开。短语经过分词后形成词组，一个短语可以分词成一个或多个词。 　　?ビ捎谥杏⑽奶烊坏牟钜欤?导致对中英文搜索引擎搜索日志的分析产生不同的结果。英文的句子由多个单词组成，两个单词之间由空格隔开。因此，英文查询串必然由多个独立的单词组成。中文的句法与英文完全不同，单词之间没有空格；并且，虽然中文