SEWM2007Web检索.pptVIP

SEWM2007Web检索 闫泼,李连霞,陈竹敏 报告人:陈竹敏 2007.3 实现过程-3 索引－开源软件Lucene 请求预处理 TD：从title和desc中同时取词，并进行词的重新搭配组合 分词 权重计算 第j个主题中第i个关键词 关键词在title desc中均出现aji=2；否则为 1 实现过程-4 检索 scroe(q,d)采用Lucene的公式计算 score(link)= log(10*indegree)/log(10*maxIndegree) indegree是文档d的入度 maxIndegree为本次查询根据得到的结果网页中的最大入度 结果分析 －NP Field权重(title:metadata:content:inAnchorText:outAnchorText) 结果分析 －HPNP Field权重(title:metadata:content:inAnchorText:outAnchorText) 谢谢! * * 山东大学 Contents 任务分析 实现过程 结果分析 1 2 3 下一步工作 4 任务分析 TD主题提取-查找主题相关的关键资源的入口 最靠前的并不一定是最好的 一般是搜索出的结果中同一网站的深度最少的URL 一般是出入度比较大的页面 导航搜索 判断主页还是指定页面 HP主页查找-查找指定名字的网站的首页 最靠前的并不一定是最好的 找出同一网站中URL的主页 NP指定页面查找-查找指定名字的页面 实现过程 CWT200G 解压 预处理 分词 索引 检索 二次调整 NPHP 请求预处理 TD_URL分析 HP_URL分析 NP 相似度 链接信息 链接提取 查询扩展 TD 最终结果 实现过程-1 解压－每个page.dat解成一个page.dat 预处理 HTML标记数量有限?按标记意义分类+权重分配 1.去掉不要的 2.找到想要的 √ 分为：title、content、metadata、anchortext 实现过程-2 链接提取 出链-容易提取，基于当前单个页面即可 入链-复杂一些，基于全局所有页面 受硬件资源限制 根据每个page.dat是一个hostname的特点，对每个page.dat文件按照同hostname与不同hostname分别进行构造入链 将所有不同hostname的入链文件分发到对应hostname的入链文件 分词－最大正向匹配分词法 实现过程-5 二次调整 NP: 不做调整 TD HP: 针对URL type(深度等)，对结果进行调整，将URL 层次浅的结果提前 针对TD，前十条结果中尽量是不同的hostname No ,top 4 words 1:1:1:1:1 No No Yes RUN5 Yes 2:2:1:0:0 Yes No No RUN4 Yes 2:2:1:0:0 Yes Yes,0.2 No RUN3 Yes 2:2:1:2:1 Yes No Yes RUN2 Yes 2:2:1:2:1 Yes Yes,0.2 Yes RUN1 All topic words Field 扩展查询 Indegree ,a Anchor text TD No, top 4 words 1:1:1:1:1 No No Yes RUN5 Yes 2:0:1:0:0 Yes No No RUN4 Yes 2:0:1:0:0 Yes Yes,0.2 No RUN3 Yes 2:0:1:3:1 Yes No Yes RUN2 Yes HP:2:1:1:3:1 NP:2:1:1:1:1 Yes Yes,0.2 Yes RUN1 All topic words Field 区分 HP NP Indegree ,a Anchor text HPNP 问题讨论及下一步工作 预处理-对最终的结果影响很大 更有效的去噪方法 分词-对最终的结果影响很大 进一步利用链接信息 针对主题提取改进排序及查找算法