网络矿工采集器V2012SP1图文使用的教程.docVIP

网络矿工采集器 V2012 SP1 使用教程 （图文版） 使用IE或Firefox浏览器，打开，进入下载频道，下载网络矿工V2012 SP1软件 注意：网络矿工的运行需要.Net Framework 2.0 环境，如果您的计算机中不具备此环境，请到下载-工具软件中下载。 网络矿工下载后是一个ZIP压缩文件 双击打开压缩文件，可以看到一个SoMinerV2012Sp1专业版目录，全部解压出来即可，解压完成后，在此目录中我们可以看到有三个exe文件，同时还可看到一个“第一次使用请先读我”的文本文件，如果第一次使用，可以查看这个文件。 Soukeynetget.Exe是网络矿工的主程序文件，双击启动即可打开网络矿工。 如果您是试用用户，启动后，系统会显示试用版，及剩余试用的期限，通常情况下试用期限为30天，试用版没有任何功能限制，所以不必担心。 我们以一个简单的配置例子，来介绍网络矿工的使用，采集某网站的新闻数据。 启动网络矿工，我们首先先建立一个“新闻”的分类用来存储将要配置的采集任务，建立分类的目的是便于管理。 建立分类： 在属性菜单中，点击鼠标右键，选择“添加采集分类”，系统弹出添加分类窗体，如下： 输入“新闻”点击确定退出，系统会自动建立新闻的分类 选中“新闻”分类，点击鼠标右键，选择“新建采集任务”开始添加采集任务 首先我们可以给此采集任务填写一个易记的采集名称“新闻采集”， 下一步我们开始添加要采集的网址信息， 采集网址为：/newssh/shwx/shehuiwanxiang.htm 采集的数据是从这个新闻列表页中，找到每一篇新闻，点击进入新闻的详细页，采集新闻的正文、发布时间、标题。 所以，这个采集网址是属于导航采集，入口地址为：/newssh/shwx/shehuiwanxiang.htm。 点击“增加采集网址” 选中“导航采集”，并点击“增加”配置导航规则，导航的目的就是让软件自动根据这个新闻列表页打开每一篇新闻。 所以配置规则为这个列表页的列表新闻信息，我们可以通过两种方式进行配置：可视化和采集规则配置 可视化配置导航规则 打开导航配置窗口后，点击“配置导航规则”， 打开配置页面，选择“可视化配置”，点击“可视化提取”按钮， 打开可视化配置器 输入网址/newssh/shwx/shehuiwanxiang.htm 打开网页，因为是一个新闻列表页，导航是多条数据，所以，需要选中“多条记录 请通过鼠标捕获第一条和最后一条记录”，然后点击工具栏“开始捕获”，鼠标在页面滑动式，会出现一个蓝色的边框，用蓝色的边框选中第一条新闻，点击，然后再选中最后一条新闻，点击，系统会自动捕获导航规则，如下： 确定退出即可。配置完成后，选中刚才配置的网址，点击“测试网址解析”，可以看到系统已经将需要采集的新闻地址解析出来了，表示我们配置正确。 刚才我们使用可视化方法进行的配置，也可以用规则配置进行导航规则的解析，在刚才的配置导航规则页中，选择“自定义配置”，在网页源码中，找到需要导航的网址， 荧光笔标出的就是前后标志，输入规则，确定退出。 然后，我们再进行导航规则测试，可以看到测试没有问题。 下面我们开始配置采集数据的规则，因为我们要采集新闻的正文、标题、发布时间，所以，可以用三种方式来完成：1、智能采集；2、可视化采集；3、规则配置。 我们逐个讲解 智能采集 我们在采集任务配置窗体中，选择“采集数据”，并点击“配置助手”，打开配置助手页， 在地址栏输入一个采集的地址，系统也会自动输入此网址，同时点击“生成文章采集规则”，可以看到系统已经将文章的智能规则输入到系统中，点击“测试”可以检查采集结果是否正确 确定退出，这样就完成了配置。 点击“应用”保存，测试采集， 可以看到采集没有问题，正文首先是张图片。如果需要去掉网页符号，可以编辑正文的数据加工规则，选择“输出时去掉网页符号” 再次测试 网页符号已经去掉，因为图片是一个网页代码，所以也被去掉了，一般情况下，采集正文我们期望保留格式，所以，不用去掉网页代码，这样可以保留文章原始格式进行输出。 下面我们来看可视化配置 我们在采集任务配置窗体中，选择“采集数据”，并点击“增加”，采集数据规则配置页，选择“可视化配置”，并点击“可视化提取”按钮，打开可视化配置页面 输入我们需要采集数据的网址，并点击匹配，开始进行采集数据的可视化配置，同样，点击“开始捕获”时，鼠标在网页滑动时会出现一个蓝色边框，用蓝色边框选中需要采集的数据，点击即可。 点击“测试”可以看到测试结果，测试结果正确后，确定退出，在采集数据规则配置页，输入一个名称，保存退出，即可 重复以上过程，将正文、时间、标题配置好即可。 可以看到规则类别为XPath 保存采集任务，测试即可。 下面我们来看第三种配置方法：规则配置 规则配置是最复