(2008,2011)搜索引擎应用技术.pdfVIP

搜索引擎应用技术 By 冲出宇宙 时间：2008 年1 月 搜索引擎应用技术 By 冲出宇宙 时间：2008 年1月 1 第 页 搜索引擎应用技术 By 冲出宇宙 时间：2008 年1 月 本文不是入门文章！ 2 第 页 搜索引擎应用技术 By 冲出宇宙 时间：2008 年1 月 基础篇 1 1 11 信息检索及搜索引擎简介 首先，推荐大家学习《现代信息检索》（作者？）、《搜索引擎技术》（作者李 晓明等）、中科院信息检索课件（作者王斌）和《Introduction to Information Retrieval》（作者D.Manning等）这几本书（或电子资料）。以下笔者假设你已经 认真学习过上述资料。 信息检索能做什么？其实只有一件事：从一堆信息里面找出大概是你想要的 一些。在之前的40年里，这个工作一直都由数据库完成。回想一下，商业公司 用数据库查询最近半月的营业额和查询购买超过 10万的大客户。所以：现代信 息检索来源于数据库技术。那现代信息检索技术和传统数据库技术相比有什么不 同？ 数据库难以处理维度很高的数据。我们知道，任何一个数据都可以映射到多 维空间。比如数据库里面的记录，其实就是映射到了一个多维空间，其中，每个 列是一个维度。一些数据库能够定义最多1024个维度（列），而这个值在许多应 用里都很不够。数据库还难以处理空间范围查询，更不用说对数据进行挖掘了。 搜索引擎是一种信息检索系统，它通过计算机来完成信息检索的过程。本文 将主要讨论搜索引擎应用技术。 有关信息检索和搜索引擎的历史和一些基本介绍，大家同样可以看answers 上面的介绍，地址为：/search+engine?cat=technology 和 /topic/web-search-engine?cat=technology。这里提醒大家： 搜索引擎有很多很多种，常用的百度和google 只是其中的一种（网络搜索引擎）。 常见的还有：企业搜索引擎、个人桌面搜索 和 最近很火爆的移动平台搜索引擎。 其中，只有基于网络的搜索引擎才需要蜘蛛技术。蜘蛛技术不在本文的讨论范围 内。 2 2 22 搜索引擎应用 2.1 你真的需要搜索引擎？ 2.1 你真的需要搜索引擎？ 22..11 你你真真的的需需要要搜搜索索引引擎擎？？ 请记住：单独的搜索引擎不是必须的！最近的很多数据库系统都和基本的搜 索引擎进行了结合。请注意几个例子：数据库的全文索引、mysql + sphinx 的搜 索数据库系统、ThunderStone 公司的TEXIS（搜索+数据库系统）。这几个做法都 可以运用到顶级需求上面。 笔者推荐大家在做决定之前，先了解业内的解决方案和用户需求，然后确定 你是否真的需要一个单独的搜索引擎。以笔者有限的了解来看，90%以上的用户 并不需要单独的搜索引擎。 3 第 页 搜索引擎应用技术 By 冲出宇宙 时间：2008 年1 月 给大家举几个例子：、 1）个人桌面搜索：这个应用连mysql 都用不着出马，完全可以使用嵌入式 的db系统，如sqlite；实际应用上，据说微软的桌面搜索系统是基于Lucene 的； 2 BBS 1 / p