搜索引擎索引原理.doc

搜索引擎原理 全文索引根据搜索结果来源的不同，全文搜索引擎可分为两类：一类拥有自己的网页抓取、索引、检索系统（Indexer），有独立的“蜘蛛”（Spider）程序、或爬虫（Crawler）、或“机器人”（Robot）程序（这三种称法意义相同），能自建网页数据库，搜索结果直接从自身的数据库中调用Google和百度就属于此类另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。启动数据库的全文索引服务存储过程：sp_fulltext_service 　　2、初始化全文索引存储过程：sp_fulltext_database 　　3、建立全文索引目录存储过程：sp_fulltext_catalog 4、在全文索引目录中添加删除表标记存储过程：sp_fulltext_table 5、在全引目录的表中添加或删除列标记存储过sp_fulltext_column 目录索引 　　与全文搜索引擎相比，目录索引有许多不同之处。 　　首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。 　　其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo这样的超级索引，登录更是困难。 　　此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。 　　最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。 　　目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo这种引擎的特点是找的准确率比较高。引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。元搜索引擎 　　元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。我们可将元搜索引擎看成具有双层客户机／服务器结构的系统。用户向元搜索引擎发出检索请求，元搜索引擎再根据该请求向多个搜索引擎发出实际检索请求，搜索引擎执行元搜索引擎检索请求后将检索结果以应答形式传送给元搜索引擎，元搜索引擎将从多个搜索引擎获得的检索结果经过整理再以应答形式传送给实际用户。当然，某些元搜索引擎具有略微不同的机制。 几种不同的元搜索比较： 搜魅网（someta）：集合了百度、google、、雅虎多家主流搜索引擎的结果，提供网页、资讯、网址导航等聚合查询。另外，搜魅网突破了元搜索引擎没有自己的蜘蛛的瓶颈，提供了网站查询的功能。佐意综合搜索（chinazss）：佐意网提供的综合搜索，结合了Google\Baidu\yahoo\等知名搜索引擎，更细分了不同的搜索类别，如软件搜索，游戏搜索，视频搜索，新闻搜索，网页搜索，地图搜索，音乐搜索，企业搜索等。看似页面简单，却搜索功能却很强大。佐意综合搜索可以说是元搜索中的一个典范。 该搜索引擎还可直接查询手机号码归属地，IP查询等。觅搜 （MetaSoo）：最近发现的一个使用了Ajax技术的中文元搜索引擎，可搜索谷歌、百度、雅虎一搜、