股票爬虫采集技法.docxVIP

股票爬虫采集方法本文介绍使用八爪鱼爬虫软件采集“同花顺行情中心股票数据”的方法。采集网站：/#refCountId=db_509381c1_860使用功能点：AJAX点击和翻页/tutorialdetail-1/ajaxdjfy_7.html步骤1：创建股票信息爬虫采集任务1）进入八爪鱼客户端主界面，选择“自定义采集”，点击“立即使用”将要采集的网站URL复制粘贴到输入框中，点击“保存网址”步骤2：创建翻页循环系统会自动打开网页。下拉页面至底部，点击“下一页”按钮。在右侧的操作提示框中，选择“循环点击下一页”，以创建一个翻页循环备注：页面右上角有一个“流程”按钮，可根据需要，打开或者关闭。打开后，会如上图显示；关闭后，仅显示页面下方的浏览器部分2）由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“5秒”（时间需根据网页情况进行设置，设置的时间网页加载时间即可）备注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。具