北大计算机科学技术研究所.ppt

ICST 参加SEWM2005评测报告 北京大学计算机科学技术研究所 路 斌 内容提纲 CWT100G数据预处理 Web检索 文本检索 链接分析 任务处理 Web Page分类 未来工作 CWT100G数据的预处理 URL消重 提取552.6万条可用数据 提取内容： 网页信息 超链接关系 从原始网页得到更多的信息 提取六个字段，赋予不同权重 网页正文、Title、Meta、正文标题、链出文字 链入文字 提取链接关系 网页间的指向关系 内容提纲 CWT100G数据预处理 Web检索 文本检索 链接分析 任务处理 Web Page分类 未来工作 文本检索 自动分词 正向最大匹配法 逆向最大匹配法 双向匹配法 联想-回溯法 ... 索引技术 倒排索引 查询处理 查询处理流程 查询分词 短语查询 and查询 or查询 相关度排序 向量空间模型 初始检索结果根据tf*idf排序 文章长度 TF/总词数 字段权重调整 提取内容包括六个域： 网页正文、Title标签、Meta、链出文字、正文标题、链入文字 各个字段分别建立索引 权重计算 线性搜索方法 粗粒度－细粒度 链接分析 HITS PageRank 衰减因子值的选择： 0.85 衰减因子值越大，计算所需的迭代次数就越多 PageRank值与IR系统结果值 相乘 Web检索任务 主页/指定页面查询 实施与主流搜索引擎所用技术基本相同 主题提取任务 当前主流搜索引擎并不能很好的完成这项任务，对检索结果运用特别的算法进行再处理 主页/指定页面查询 区分HomePage和NamedPage HP对主页加分 线性搜索最佳系数 NP/HP采用不同系数 主题提取任务 实验结果分析 NP/HP任务区分 针对任务采取不同策略 HP任务相对于NP较难 TD任务更难 如何更好利用链接关系 内容提纲 CWT100G数据预处理 Web检索 文本检索 链接分析 任务处理 Web Page分类 未来工作 Web Page分类 分类算法 SVM 文档模型 向量空间模型 网页特征 网页正文、Title、Meta、正文标题、链出文字 链入文字 实验结果分析 各个字段权重计算 内容提纲 CWT100G数据预处理 Web检索 文本检索 链接分析 任务处理 Web Page分类 未来工作 未来工作 文档模型 相似度计算模型 自动分词 词性标注、消除歧义、未登录词识别 URL匹配分析 英文、汉语拼音 网页结构提取 更细粒度：分块 字体大小、文字样式 链接关系分析 谢谢！ * * MUMIAN2_RUN_1 0.416608 3 ANS_RUN_2 0.466412 2 ANS_RUN_1 0.486209 1 TIANWANG_RUN_1 0.594469 0.615024 0.769148 0.688188 0.632988 0.810895 hp np 综合 0.5 0.9 0 0.8 0.8 0.1 0.615024 0.769148 0.688188 0.1 0.9 0.7 0.9 0.7 0.4 0.632988 0.1 0 0 0.9 0.1 0.1 0.810895 正文标题 Meta 链出文字 链入文字 标题 正文 hp np 综合 链接关系利用 将查询结果中同一网站的网页聚集在一块，寻找入口网页（在较上层且指向较多的结果网页） 二次筛选处理 使得前10/20个结果包含尽可能多的不同站点，允许一定程度的冗余（2/3)