ajax加载的网页数据如何采集.pptxVIP

八爪鱼 让数据触手可及视频教程PPTajax一、ajax说明二、ajax点击和翻页三、ajax滚动四、ajax和新标签一、ajax说明ajax是什么：ajax即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。ajax在网页上的表现特征：点击网页中某个按钮或下拉页面，网址一般不发生改变，网址栏不出现加载状态，但网页局部有新的数据加载出来，有所变化。ajax在八爪鱼中的验证方式：点击网页中某个按钮或下拉页面，网址栏不出现加载状态或转圈状态。二、ajax点击和翻页ajax点击：点击页面中某个使用了ajax技术的按钮（一次点击）示例网址：/ajax翻页：点击页面中使用了ajax技术的翻页按钮（循环点击）示例网址：/#c64623158,2560620.2094582166,14二、ajax点击和翻页说明：对于使用了ajax技术的网页，如果没有在八爪鱼中勾选ajax加载数据，则运行本地采集时，在点击步骤后，八爪鱼检测不到页面变化，会默认等待120秒后再执行下一个步骤。不熟悉八爪鱼的新用户就会认为：采集时一直卡在点击步骤，不能正常提取到数据。120秒的默认等待时间过长，会极大地影响采集速度。因无我们需要设置ajax告诉八爪鱼，需要采集的网页内容已经出来了，可以进行下一个步骤。三、ajax滚动ajax滚动：下拉页面，网页状态不发生改变，但网页局部有新的数据加载出来。八爪鱼中，ajax滚动有两种方式：直接滚动到底部和向下滚动一屏。直接滚动到底部：直接让界面滚动到页面的最下部。向下滚动一屏：让网页滚动当前屏幕一屏的内容。一般常用直接滚动到底部，特殊情况使用向下滚动一屏。三、ajax滚动直接滚动到底部：直接让界面滚动到页面的最下部适用情况：页面滚动后，新加载的数据出现在原本的数据后，无需在当前屏幕展示，也能完全加载。示例网址：/mdabao?refer_flag=1001030101_is_all=1#_rnd1516333013843三、ajax滚动向下滚动一屏：让网页滚动当前屏幕一屏的内容适用情况：页面需一屏一屏滚动，展现在当前屏幕中一定时间，才能加载出要采集的数据。没有在当前屏幕中展示一定时间，则一直处于没有加载完成状态，不能采集到所需数据。示例网址：/21455.html利用ajax实现超时结束步骤特殊运用：利用ajax超时，强制结束步骤有的网页，没有使用ajax技术，进行点击某个按钮，或者点击翻页时，网址会发生改变，页面会重新加载，而且加载时间过长：明明想要采集的数据早已经出现了，网页还处于加载状态。（注：在八爪鱼中，网页完全加载完成后才会进行下一步骤。）此时，我们可以在点击步骤设置ajax超时。在超时时间后，强制停止加载状态，进行下一步骤。示例网址：/s?id=1594899834370580393wfr=pcfr=idx_lst四、ajax和新标签ajax：延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。示例网址：/新标签：在浏览器中打开一个新页面，重新加载整个网页。新标签示例网址：/在八爪鱼中，可相应地进行ajax和新标签的设置，一般“ajax加载”需要手动勾选，“开新标签“会自动勾选。如果运行规则无误，则无需修改自动勾选的内容；如果运行规则有误，则需根据网页实际情况，修改自动勾选的内容。一般情况下，勾选了“ajax加载”时，无需再勾选“开新标签”：“开新标签”需要一定时间，可能会降低采集速度；部分ajax网页勾选“开新标签”采集会出错。The End谢谢大家