简化数据融合.pdfVIP

维普资讯 搜索中的 “爬虫’’ 简化数据融合 爬虫是搜索引擎赖以提供信息给用户的基 此，不同类型的网页的内容更新规律也有很大差 Web工程与Web服务组合分会，由德国 础，是搜索引擎的重要组成部分。通过爬虫所 异。这些差异都给爬虫带来了挑战。 Chemnitz技术大学的MartinGaedke教授主 搜集到的网页，搜索引擎建立相应的索引，从 WWW2008的搜索环节专门设置了一个爬 、 持。Gaedke教授的研究方向是Web工程、软件 而使得用户可以搜索到相应的网页。 虫研究报告环节，共有三篇论文，报告了如何构 工程、系统工程以及分布式系统。会上共有三 然而，网页会发生变化，因此爬虫必须按 造高效的、具备高扩展能力(scalability)的爬虫； 篇论文进行了宣讲。 照一定的策略重新抓取相关网页，评分析发生 如何智能地根据网页的变化规律来重新抓取和分 随着Yahoo管道以及其他类似服务的出 的变化。不同类型的网页有的内容组织结构往 析相关网瓦 如何面向论坛网页的结构和内容特 现，数据融合工具引起了很多用户的兴趣。为 往差异很大，如新闻网页和论坛网页。不仅如 点智能地抓取相关信息。 了使没有编程经验的用户易于使用这些工具， 美国IBM研究中心的AntonV．Riabov等人 提出了一种 自动的数据融合方法MARIO，从 搜索的应用 根本上简化了数据融合的实现。澳大利亚 随着互联网的发展，搜索已经成为最基本 网络社区问题回答是一种流行和有效的信 RMIT大学的NalakaGooneratne等针对组合 的网络用户活动之一。如何针对用户的不同兴 息获取方式，如通过Yahoo!Answers提问，可 服务中发现的问题，提出了两种依照独立的全 趣和网络上信息的不同特征，设计并提供有针 以在几分钟内获得社区网友的回答和响应。随 局约束定位服务的方法。德国Rostock 大学 对性的搜索服务显然具有重要的意义。因此本 着这些社区问答网站积累的问题和答案数 目的 NielsLohmann等人的论文针对 WS—BPEL 届会议专门针对搜索的应用设了一个论文报告 增长，如何根据用户的提问提取出符合要求的 可执行流程与其对应的抽象流程之间的兼容 环节。共宣读了三篇论文，分别是： 答案就变得非常重要，其中对候选答案的排序 性问题，提出了一种通过扩展WS—BPEL概 AutomaticOr血neNewsIssueConstmc— (ranking)尤为关键。该论文研究了一个通用的 要文件判定执行流程与抽象流程之间兼容性 don inWeb Environment 框架，结合了答案与搜索意图的相关性和质量。 的方法。 该论文报告了如何利用搜索技术 自动在线式 通过大规模的数据实验检验，该排序框架的效 Web工程与Web服务部署分会，由比利时 地构造新闻评论的研究，所研究的算法包括三个 果非常好。 布鲁塞尔V删e大学Geert—JanHouben教授主 主要步骤：1．候选新闻主题检测；2．新闻主题变