Httrack工具介绍与使用指南.pdfVIP

Httrack 工具与使用指南 1. HTTrack工具介绍 HTTrack 是一个网站镜像工具，本来是用来抓取网站做离线浏览用的。但是 HTTrack 的爬虫特性和搜索引擎蜘蛛爬虫非常的像， 这也逐渐应用到 SEO （搜索引擎优化） 工作中。 其实这两种看似不同的爬虫做的都是同样的工作， 就是复制网站并存储下来 （网站在搜索引 擎中的网页快照就是被存储下来的内容）。 HTTrack Website Copier 界面如下图所示： 我们一般用 HTTrack Website Copier 来对网站进行检测或测试，模拟爬虫对受保护 服务的爬行、抓取、收录，以来测试我们的防护设备对爬虫的防护。 2. HTTrack工具使用 第一步：创立项目的名称（工程名） 第二步：选择操作方式，再点击 添加“ URL”,将我们的网站地址添加进去。 第三步：进入 选项“ ”，设定爬行和抓取规则等选项 在选项中，取消使用代理进行 FTP 传输； 进入 扫描规则“ ”，为 HTTrack 程序设定爬行和抓取规则， HTTrack 里面自带了一些， 可以自己设置，也可以默认。 这样的扫描规则搜索引擎也一定会有的，比如不收录 .exe 文件 ,zip 文件等等。然后不收 录一些特定的跟踪链接， 如 。你需要把一些搜索引擎爬虫不收录的特征 加进去。 然后在“搜寻”里面，很多的特征都是现在搜索引擎爬虫的特征： 一般的搜索引擎不会接收 cookies ，因此测试时我们也将此项去掉。 第四步：一般按照以上设置就可以，其他的默认就行。点击下一步： 在此页面，我们不用选择任何项，直接点击完成就可以进行测试了，如下图 此时， HTTrack开始对网页进行爬行，抓取。