SEWM2005中文Web信息检索评测.pptVIP

SEWM2005中文Web信息检索评测 曹勇刚　曹羽中 任 务 　使用CWT100G测试数据（约570万个中文网页），完成以下两个任务： 主题提取 　对于一个特定主题发现一组关键资源，要求在前十个结果中寻找尽可能多的不同站点 主页/指定页面查询 返回最符合用户特定查询的那个网页，此网页在结果排序中越靠前越好 系统设计 　以开源工具Lucene/Nutch为基础进行扩展 索 引：使用Lucene的API,是倒排索引，但引入了Field的概念，索引时将网页划分为url, title, content, anchor等不同的field,这样可以进行有针对性的匹配及排序优化。 存储结构：使用Nutch基于二进制文件的webdb来存储关键资源，包括：网页文本，超链，anchor等　　 中文分词：使用我们自己开发的中文分词系统BUAASEISEG 相关排序算法 把document划分为url,title,入链anchor,content等field,检索时按field分别匹配，在任意一个field中匹配上了，就算匹配成功。对每个field的匹配情况分别计算similarity得分(TF*IDF*Norm）,最后把所有field的匹配得分相加。 　对不同的field赋予不同的得分权重：url:4.0 anchor:2.0 title:1.5 content:1.0　 为防止恶意的anchor及title,限制两者的最大长度，将超过长度的字符忽略。 相关排序算法(续1) 增加文档长度规格化。长文档通常会有高的TF值，检索时匹配上的概率也更高，这样不利于短文档。可根据文档长度(文档所含token个数)计算规格化因子，抑制长文档的得分。 计算时区分field: 对于content：DocLengthNorm=1.0 / Math.sqrt(numTokens) 对于anchor: DocLengthNorm=1.0/Math.log(Math.E+numTokens) 对于url:DocLengthNorm=1.0f / numTokens SimScore=SimScore*DocLengthNorm 相关排序算法(续2) 链接分析:只考虑入链的数目，不考虑入链的质量。 PR=Math.log(Math.E + backlinkNum); 最终得分=SimScore*PR 中文分词系统与Nutch的集成 Nutch对中文仅进行单字切分，需扩充中文分词功能 基于JavaCC重写Nutch的词法分析器，以可置换，易扩充的方式在Nutch中引入繁简转换、智能中文分词等中文处理功能 可灵活使用各类中文分词算法/系统，只需实现一个统一的JAVA接口ISpliter即可。除了我们自己的BUAASEISEG中文分词器外，我们还集成过计算所开源版的ICTCLAS 中文分词系统与Nutch的集成(续) Word-segmentation Create Word segmentation system that Can handle large scale data(90G, ICTCLAS fail on this) Can recognize more new words (adaptive to domains) Can do disambiguation based on context Favor on Information Retrieval and Feature selection Word-segmentation: BUAASEISEG Word-segmentation cont. Why longer For precision! “前沿培训网报名须知” should be 前沿 培训 网 报名 须知 ? Or 前沿培训网 报名须知 ? If choose later，can direct hit targets (only two right pages) otherwise ,you may be buried in 4,060 results of Google. How about fuzzy search with shorter phrase? Hard work, less achievement ! If you search for “北京”，which be first? 北京大学？北京烤鸭？北京市政府？Or only Beijing related pages: introduction, map, news? WANT TO BE BURIED? 　 Return too much useles