搜索技术与机器学习.pdfVIP

搜索与机器学习 李航 微软亚洲研究院 今年是图灵诞辰 100 周年。如果图灵在世的话，他会惊喜地发现互联网搜索引擎已经能在自 己当年设计的人工智能测试上取得相当好的成绩，因为在主要的搜索引擎上提出各种各样的问题， 比如 “理想国的作者？”或者 “从知春路到清华东门怎么坐公交车？”，都能找到正确的答案。 毫无疑问，互联网搜索引擎已成为当今最为实用、最具代表性的智能系统。 1．互联网搜索技术 据统计，约有 60%的互联网用户每天至少使用一次搜索引擎，约有 90%的互联网用户每周至少 使用一次搜索引擎。搜索引擎已经成为人们访问互联网的必经通道。对一般用户来说，除了通过 搜索引擎，没有其他手段可以更方便地获得网上的信息。 图1. 互联网搜索引擎架构图 搜索引擎能看到万亿（trillion）量级的 URL，需要成千上万台的计算机抓取、分析、索引 网页；每天有几十亿的用户查询，需要将最相关、最新、最全的结果提供给用户。互联网搜索的 发展取决于软件、硬件、系统等多方面的计算机技术的研发与创新。 图 1 是互联网搜索引擎的架构示意图。简单地说，搜索引擎由抓取