PHPCMS2008 SP3 采集教材.docVIP

采集网站： 采集任务：新浪国内新闻 任务列表地址：/news/gnxw/gdxw1/index_1.shtml 操作：模块管理-》采集管理-》采集站点管理-》添加采集站点 两个属性：基本信息和站点规则，其中，基本信息为必填项。站点规则可以填写，也可以不填写。所以说这一步可以很简单，也可以稍微麻烦些（设置站点规则） 。 站点名称：就是你给这个网站做的记号，便于以后管理所用。 站点 URL：就是网站的地址了。注意如果你采集的是网站的二级域名，比如 那么，这里就填写二级域名。 站点描述：这个可以为空。 整个站点内容页（注意是内容页，就是文章的详细展示页面）的通用规则，这里如果设置好后，以后添加采集任务时，会自动继承这个规则，就会省很多工作量。 ? 第二步：添加采集任务 操作：模块管理-》采集管理-》采集任务管理-》添加采集任务 或者：模块管理-》采集管理-》采集站点管理-》新浪国内新闻 一行中 “添加任务” 采集任务有三个属性：网址采集 内容规则 高级设置 网址采集的目的是从列表页采集到文章内容页的网址，通俗点就是模仿鼠标从列表页点击文章内容页链接。下面对各个填写项说明一下： 所属站点：这个必须选择，只有选择了站点后，后续操作才能正常进行。 任务名称：这个必须填写，用于记忆。 简单描述：可不填写 发布栏目：一定要选择栏目，只有选择发布栏目，才能在内容规则里出现对应的发布字段！网址采集： 单一网页或者无规律网页：这个最简单，只采集列表页的一页。 比如：/news/gnxw/gdxw1/index.shtml，/news/gnxw/gdxw1/index_2.shtml? 采集多个规律网页：如果采集页面地址很有规律，可以采用“批量添加多页”方式/news/gnxw/gdxw1/index_2.shtml变成 /news/gnxw/gdxw1/index_ (*).shtml 其中(*)就表示任意字符或者数字，我们称其为通配符。接下来，我们来定义这个通配符的变化范围： ? 通配符范围： 从____到_____ 步长倍数:___ 倒序生成 补零: _____ 页码=通配符×步长倍数倒序生成：主要是为了采集来的内容也按照原文章列表里的顺序， 一般网站列表分页都是都是按照时间降序的，最新发布的文章都在第一页，优先采集页码数大的。后采集页面数小的。注意：现在有的站点列表页是倒序生成的。 补零：就是有的网站文章列表地址 1-10 页的地址中规律是这样的：index_01.shtml ，index_02.shtml对于这种情况，选中“补零“，就会自动在生成的页码上补零了。文章网址筛选：这个是用来过滤非文章内容网址的，就是要求文章内容地址里必须包含什么字符，不能包含什么字符。 页面某一区域内获取网址:这个很重要，是用来确定文章列表的上下界限的。不填写则自动匹配真个页面区域。正确填写可以过滤掉不需要的网页链接，填写要点是： 1、找到文章列表的第一条记录，然后页面空白处右键-查看源文件，里面搜索第一条记录的名称，在第一条记录之前，寻找特殊标志作为边界起点填到第一个框里。 2、找到文章列表的最后一条记录或者分页标志，在最后一条记录之后寻找特殊标识，作为边界终点填写到第二个框里。注意，这个特殊标识必须为边界起点之后第一次出现！ 比如：/news/gnxw/gdxw1/index_1.shtml 页面中，我寻找的边界：其中“ul class=list_009”出现在列表页第一条记录之前，并且是唯一的；而“div class=hs01/div”是在出现在列表页最后一条记录之后，并且是“ul class=list_009”之后第一次出现。所以可以作为边界终点。缩略图采集规则：这个是用来采集列表页缩略图用的，留空即可。 采集登陆网站： 这个是针对需要登陆后才能访问的内容设计的，cookie 的获取，可以使用 ieHTTPHeaders 获取，或者用火车头采集器获取。可以参考相应工具。然后把获取的 cookie 粘贴到 使用已有的 COOKIE 后面的框框里即可。 内容规则这里看起来比较复杂，其实也很简单，为了便于说明，我们只采集标题、内容两个字段。采集内容网址：/c/2009-05-20/151017854839.shtml 的内容采集规则，请你打开这个网址，然后页面空白处右键-查看源文件搜索标题和内容的开始边界。 标题：用了title和/title作为边界。实际上用 title和_就可以。由于title中都含有“_新闻中心_新浪网”这里用了信息替换功能。内容：!-- 正文内容 begin --和!-- 正文内容 end --作为边界，不过观察代码里面还有一些其他的注释和链接所以用了