基于关键词提炼的搜索引擎优化方案.pdfVIP

基于关键词提炼的搜索引擎优化方案

在介绍搜索引擎的工作原理基础上，比较了主要搜索引擎的工作方式，系统

地分析了现阶段搜索引擎的关键技术（爬虫、索引、数据库以及查询），提出了

一种基于关键词提炼的搜索引擎优化技术，并且论证了该方案的可行性。

标签：搜索引擎；优化；关键词集合；提炼；查询

1概述

互联网的高速发展，网络正改变着我们的生活。在信息极速涌现的今天，如

何快速、准确获取自己所需的信息，是人们经常面对的问题。搜索引擎，为互联

网用户搜索信息带来了便利，其中被广泛使用的有Google、百度等，它们极大

推动了互联网的发展。与此同时，随着信息量的增长，出现了很多重复和垃圾信

息。因此，对于搜索引擎关键技术的改进，依然有必要进一步研究。[1，2]

搜索引擎主要分为元搜索引擎和集成搜索引擎，前者以独立搜索引擎的搜索

结果为基础优化后以统一的格式在界面集中显示，如百度、谷歌、雅虎等；而后

者是在一个网页上链接很多个独立搜索引擎，搜索结果由各搜索引擎分别以不同

页面显示，如新浪、搜狐等，文章主要讨论元搜索引擎。

论文第二部分对典型搜索引擎进行了比较，而第三部分对搜索引擎的关键技

术进行了分析，结合搜索引擎的使用感受，论文提出了一种基于关键词提炼的搜

索引擎优化方案，并对该方案的可行性进行了分析，最后小结全文。

2搜索引擎比较

搜索引擎首先利用Spider系统程序，爬过很多的网页，并把爬过的所有网

页收集回来。接着分析该网页，提取相关信息，计算网页相关度，然后用这些信

息建立网页索引数据库。当用户输入关键词之后，系统程序会从网页索引数据库

中找到符合的网页，用户可以根据排名选择自己需要的内容。不同的搜索引擎，

完成资源呈现，又各有特点。[3-6]

百度依据搜索引擎系统的计算决定对哪些网站进行抓取。计算过程会根据网

站内容、对用户友好的设置、有无过度搜索引擎優化行为等。百度蜘蛛会通过互

联网中某个指向该页面的链接进行访问和抓取，对抓取的页面也会进行记录。并

依据这些页面安排不同频次的抓取更新工作。百度蜘蛛在工作的时候，会对一些

没有足够价值的网页进行自动过滤，以避免带来不必要的麻烦。抓取之后，百度

会逐一识别并标记，并将这些标记储存为结构化数据，也会将网页关键词信息进

行识别和储存，以匹配用户搜索内容。当用户输入关键词，百度会分析并展现给

用户最为匹配的网页。

Google有主爬虫和新爬虫。它有两种抓取方式，分为主抓取和新抓取。“新

抓取”蜘蛛抓取一个网页，然后再由“主抓取”蜘蛛抓取，此时这个网页就要经过

两个月才能被主索引收录，然后出现排名。如果网页先被“主抓取”蜘蛛抓取，那

么该网页只需一个月就能进入主索引。

雅虎搜索首先会建立一个网页地图来记录互联网的结构，再使用蜘蛛抓取质

量好的网页，存到快照数据库中。然后索引程序会去掉作弊网页并将快照数据库

中的网页编号存储到网页索引数据库中。在用户输入关键词后，查询程序会在数

据库中进行比较，经过相关计算，按照相关度将网页进行排序。

3搜索引擎关键技术

不管是百度，谷歌，还是其它元搜索引擎，搜索方式各有所长，各有特点，

而搜索引擎实现网络资源搜索的关键技术基本相同，主要分为如下四种：

3.1爬虫技术

所谓网络爬虫，是指某种自动提取网页的程序，是搜索引擎的重要组成。它

根据网页分析算法过滤无关的链接，保留相关链接，并放入待抓取的URL队列

中。再根据搜索策略从队列中选择下一步要抓取的网页URL，重复上述过程，

直到触发终止条件。

网络爬虫[7，8，9]主要包括四类方法：一种是基于文字内容，利用网页文

本、URL字符串、锚文字等文字信息，如Bestfirstsearch方法和Fishsearch方

法；第二种是基于Web超链图评价，类似文献计量学的引文分析，但不考虑超

链形成的Web有向图对主题网络爬虫的影响，如BackLink和PageRank方法；

第三种是基于分类器预测，基于分类模型描述用户感兴趣的主题和预测网页的主

题相关度，该方法可以从更深的层次来描述用户感兴趣的主题信息，并准确计算

网页的主题相关性，而不只停留在基于关键词的匹配上；最后一种是其他主题爬

行方法，先爬行更重要的网页使得爬行更有效，从而计算网页重要性。

实验显示执行效果依次是BestFirst、InfoSpiders、PageRank，其中，Pag