locoy火车头采集教程实例.docVIP

火车头采集教程 火车头采集基本流程： 系统设置(新建站点(新建任务(采集网址(采集内容(发布内容(抓数据。 1.新建站点： 据你自己的需求为任务建立统一的站点，以方便管理。 点击菜单上：站点(新建站点 打开如下图： 可以填写站点名，站点地址，网址深度（0，代表根据地址直接采内容。1，代表根据地址采内容地址，然后根据内容地址采内容。2，代表根据地址采列表地址，然后根据列表地址采内容地址，再根据内容地址采内容。），站点描述。 2.新建任务： 任务是采集器采集数据时的基本工作单元，它一定是建立在站点中的。采集器通过运行任务来采集发布数据。任务工作的步骤总体可以分为三步：采网址，采内容，发内容。一个任务的运行可以任意选择哪几步。而采集器又可以同时运行多个任务（默认设置是同时最多运行3个任务）。任务的编辑界面如图： 采集器的使用最主要的就是对任务的设置。而采集数据可以分为两步，第一步是：采网址，第二步：采内容。采网址，就是从列表页中提取出内容页的地址。从页面自动分析得到地址连接：以/book/01.45.52_P1.html页面为例。我们来采集这个网址上的页面中有很多的链接,要采集每个链接中内容.首先需要将每个的链接地址抓取到也就是抓取内容页的地址。先将该列表页地址添加到采集器里。点击“向导添加”后弹出“添加开始采集地址”对话框。我们选择“单条网址” 点击添加把/book/01.45.52_P1.html地址添加到下面框中，点击完成即实现增加列表地址。 如果我们选择 “批量/多页” ，如图： 可用通配符：（*） 可以代替页码变化时的地址之间的差异。数字变化可以设置你要爬取该列表页多少页。 间隔倍数可以数字页码变化的倍数。你也可以设置字母变化。设置完之后点击添加按钮把列表地址添加到下框中，点击完成即可完成列表地址设置。 你也可以选择 文本导入 和 正则提取 在这里就不一一讲了，因为这二种基本用的很少。 手动是将需要的网址用参数来获得并组合成我们需要的网址。这个好处是处理网址那块有规律的网址很好处理，但要是没规律，和周围的一样的话，就不好处理了。我们以 为例. 看图里的设置: 这样设置就可以获得网址了,这个网址是从摘要那块获得的，那一块的代码都是一个样式，所以可以。你看上图的话，会发现在参数那里有个缩略图，因为有的文章是将缩略图放在列表里的。现在我们举个例子。看这个/dz/，这个是电影的，有小图的，我们看一下怎么获得这个图片。注意，这里是同时获得网址和缩略图的。这样设置就可以获得真实网址了,这个网址是从摘要那块获得的，那一块的代码都是一个样式，所以可以。你看上图的话，会发现在参数那里有个缩略图，因为有的文章是将缩略图放在列表里的。现在我们举个例子。看这个/dz/这个是电影的，有小图的，我们看一下怎么获得这个图片。注意，这里是同时获得网址和缩略图的。在脚本规则里输入 [缩略图] 下边即出现无缩略图的提取内容中的第一张选项，将该项选中即可，再将[缩略图] 这几个字符去掉。如果您需要下载该图片，请选中将缩略图下载到本地。如果您不使用手动链接地址规则获取网址，将启用自定义格式得到地址选项去掉即可。 注意事项：该功能只提取内容标签中的图片，所以请确保您要提取的图片在内容标签中。同时。如果内容标签中选了下载图片，则提取的图片也是下载到本地的图片地址。 因为网址和缩略图那块的样子就是下边的，是有规律的，所以可以获得网址 如果我们遇到那些用脚本做栏目列表时怎么办呢？用自动识别是不行的了。这时，该使用手动设置链接格式这个功能起作用了，这也是针对脚本类网址最好的解决办法。下边我们以腾讯Flash频道_作品列表为例来讲一下/classlist/listwork_1000130000_1.shtml你用自动获取网址是得不到什么地址的. 我们仔细分析/classlist/listwork_1000130000_1.shtml源码后就会发现，这个是这个样子的网址/cgi-bin/viewwork?id=727749　，只有最后的数字是不同的，而这数字就包含在脚本里边，我们看一下源码： 注意：new Array(,后边就有我们要的网址，还有缩略图，我们可以这样写规则： 这样就可以了，看一下效果 ＯＫ了。当所有网址抓取完后就可以开始抓取内容。抓取内容就是采集器请求到内容页后分析内容页的HTML源代码并依据在采集器中的标签规则设置匹配出相应的数据。在测试到的地址中，任意选择一个子地址，双击选中的地址或者点击“测试该页”按钮。如图： 将会跳转到任务中的“第二步：采集内容规则”如图： 在典型页面中会出现刚才选中的网址，这里就是测试采集内容。左边的标签名下面有：标题共个标签，可以对标签进行添加、删除和编辑等操作。每个标