百姓网数据抓取的方法.docxVIP

使用八爪鱼v7采集器采集百姓网教育培训信息本文介绍使用八爪鱼采集百姓网-教育培训-分页列表信息 的方法采集网站：/jiaoyupeixun/?src=new-home-nav使用功能点：分页列表信息采集/tutorial/fylb-70.aspx?t=1Xpath/search?query=XPath相关采集教程：黄页88数据采集58同城信息采集1688热门商品采集步骤1：创建采集任务1）进入主界面，选择“自定义模式”使用八爪鱼v7采集器采集百姓网教育培训信息图12）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”使用八爪鱼v7采集器采集百姓网教育培训信息图2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环使用八爪鱼v7采集器采集百姓网教育培训信息图3步骤3：创建列表循环并提取数据移动鼠标，选中页面里的第一条教育培训信息的区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”使用八爪鱼v7采集器采集百姓网教育培训信息图4系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环使用八爪鱼v7采集器采集百姓网教育培训信息图53）我们可以看到，页面中教育培训信息区块的所有元素均被选中，变为绿色。选择“采集以下数据”使用八爪鱼v7采集器采集百姓网教育培训信息图64）选中字段，点击垃圾桶图标，可删除不需要的字段使用八爪鱼v7采集器采集百姓网教育培训信息图75）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，选择“启动本地采集”使用八爪鱼v7采集器采集百姓网教育培训信息图8步骤4：修改Xpath启动数据采集后，数据采集出错。重新调试采集规则，我们发现，建立“循环”列表步骤出错，需要进行一些高级选项的设置。选中“循环”步骤，打开“高级选项”，将不固定元素列表中的这条Xpath：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI，复制粘贴到火狐浏览器中的相应位置使用八爪鱼v7采集器采集百姓网教育培训信息图9将八爪鱼中的Xpath，复制粘贴到此位置。观察页面，我们可以看到，页面中我们不需要采集的两条广告，也被定位了使用八爪鱼v7采集器采集百姓网教育培训信息图10继续观察网页源码，广告区块的源码中，class=media clearfixadsenseadsense-oneline ，而培训信息区块的源码中，class=item-regular。因而，通过class属性，可以分辨广告区块和培训信息区块将Xpath修改为：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI[contains(@class,item-regular)]，我们发现，页面中要采集的培训信息区块，均被定位了，而广告区块没有被定位使用八爪鱼v7采集器采集百姓网教育培训信息图11将修改后的这条Xpath：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI[contains(@class,item-regular)]，复制粘贴到八爪鱼中，点击“确定”后，重新启动采集任务，数据即可正常采集使用八爪鱼v7采集器采集百姓网教育培训信息图125）再次点击左上角的“保存并启动”，选择“启动本地采集”使用八爪鱼v7采集器采集百姓网教育培训信息图13步骤5：数据采集及导出采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出使用八爪鱼v7采集器采集百姓网教育培训信息图14这里我们选择excel作为导出为格式，数据导出后如下图使用八爪鱼v7采集器采集百姓网教育培训信息图15八爪鱼——70万用户选择的网页数据采集器。1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。