- 1、本文档共45页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
微信热门文章采集的方法以及详细步骤
微信热门文章采集方法以及详细步骤本文将以搜狗微信文章为例,介绍使用八爪鱼采集网页文章正文的方法。文章正文里一般包括文本和图片两种。本文将采集文章正文中的文本+图片URL。将采集以下字段:文章标题、时间、来源和正文(正文中的所有文本,将合并到一个excel单元格中,将使用到“自定义数据合并方式”功能,请大家注意)。同时,采集文章正文中的文本+图片URL,将用到“判断条件”,“判断条件”的使用,有很多需要注意的地方。以下两个教程,大家可先熟悉一下。“自定义数据合并方式”详解教程:/tutorialdetail-1/zdyhb_7.html“判断条件”详解教程:/tutorialdetail-1/judge.html采集网站:/使用功能点:分页列表信息采集 /tutorial/fylb-70.aspx?t=1Xpath/search?query=XPathAJAX点击和翻页/tutorial/ajaxdjfy_7.aspx?t=1判断条件/tutorialdetail-1/judge.htmlAJAX滚动/tutorialdetail-1/ajgd_7.html步骤1:创建采集任务1)进入主界面,选择“自定义模式”微信热门文章采集方法步骤12)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”微信热门文章采集方法步骤2步骤2:创建翻页循环在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后,默认显示“热门”文章。下拉页面,找到并点击“加载更多内容”按钮,在操作提示框中,选择“更多操作”微信热门文章采集方法步骤3选择“循环点击单个元素”,以创建一个翻页循环微信热门文章采集方法步骤4由于此网页涉及Ajax技术,我们需要进行一些高级选项的设置。选中“点击元素”步骤,打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”微信热门文章采集方法步骤5注:AJAX即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。观察网页,我们发现,通过5次点击“加载更多内容”,页面加载到最底部,一共显示100篇文章。因此,我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤,打开“高级选项”,打开“满足以下条件时退出循环”,设置循环次数等于“5次”,点击“确定”微信热门文章采集方法步骤6步骤3:创建列表循环并提取数据移动鼠标,选中页面里第一条文章链接。系统会自动识别相似链接,在操作提示框中,选择“选中全部”微信热门文章采集方法步骤7选择“循环点击每个链接”微信热门文章采集方法步骤8系统会自动进入文章详情页。点击需要采集的字段(这里先点击了文章标题),在操作提示框中,选择“采集该元素的文本”。文章发布时间、文章来源字段的采集方法同理微信热门文章采集方法步骤9接下来开始采集文章正文。先点击文章正文的第一段,系统会自动识别页面内的同类元素,选择“选中全部”微信热门文章采集方法步骤105)可以看到,所有的正文段落均被选中,变为绿色。选择“采集以下元素文本”微信热门文章采集方法步骤11注意:在字段表中,可进行字段的自定义修改微信热门文章采集方法步骤126)经过如上操作,正文就会被全部采集下来(默认为每一段正文为一个单元格)。一般而言,我们希望采集的正文,合并为同一个单元格。点击“自定义数据字段”按钮,选择“自定义数据合并方式”,勾选“同一字段多次提取合并为一行,即追加到同一字段,例如正文分页合并”,再点击“确定”微信热门文章采集方法步骤13“自定义数据字段”按钮选择“自定义数据合并方式”微信热门文章采集方法步骤14如图进行勾选微信热门文章采集方法步骤15步骤4:修改Xpath1)选中整个“循环步骤”,打开“高级选项”,可以看到,八爪鱼默认生成的是固定元素列表,定位的是前20篇文章的链接微信热门文章采集方法步骤162)在火狐浏览器中打开要采集的网页并观察源码。我们发现,通过此条Xpath://DIV[@class=main-left]/DIV[3]/UL/LI/DIV[2]/H3[1]/A,页面中所需的100篇文章均被定位了微信热门文章采集方法步骤173)将修改后的Xpath,复制粘贴到八爪鱼中所示位置,然后点击“确定”微信热门文章采集方法步骤18步骤5:修改流程图结构我们继续观察,通过5次点击“加载更多内容”后,此网页加载出全部100篇文章。因而我们配置规则的思路是,先建立翻页循环,加载出全部100篇文章,再建立循环列表,提取数据1)选中整个
您可能关注的文档
- 建筑分院的项目奖金分配系统帮助.doc
- 建筑制图识读给排水工程图.ppt
- 建筑地基基础设计规范中地基土分类.ppt
- 建筑安全施工编写的讲义.ppt
- 建筑尺寸常用尺寸与建筑常识.doc
- 建筑安装工程造价计算程序.ppt
- 建筑尺度设计师一定要知道.doc
- 建筑工程技术经济学5多的方案比选.ppt
- 建筑工程施工的项目备案管理实施细则.doc
- 建筑工程管理和实务真题及答案.docx
- 开学升旗仪式教师发言稿(精选5篇).pdf
- 河北省邢台市部分重点高中2023-2024学年高二上学期1月期末英语试题.pdf
- 教师资格之中学生物学科知识与教学能力题库练习模考A卷带答案.pdf
- 广东省茂名市2024学年英语高三上期末达标测试试题含解析.pdf
- 智慧树《创新性思维及方法》单元检测及答案解析.pdf
- 常识化颠覆常识本身.pdf
- 心理的演讲稿(通用6篇).pdf
- 海南省琼中黎族苗族自治县琼中中学2023-2024学年高二下学期3月月考语文试题(含答案).pdf
- 年度上学期北师大版五年级上册语文教学计划(通用3篇).pdf
- 必刷卷03-2023年高考高效提分物理考前信息必刷卷(福建专用).pdf
最近下载
- 中医妇科特色疗法之穴位贴敷疗法PPT.pptx
- 《无障碍设施施工验收及维护规范》(GB50642—2011)的解读.pdf VIP
- 初中化学第二单元《我们周围的空气》作业设计.docx
- 04-2024黄河流域生态保护和高质量发展-东营公需.docx
- 人教版九年级下册《语文》核心素养全册教案.pdf
- 贵州省施秉县恒盛有限公司36×39000kVA110kV工业硅冶炼炉年产90万t工业硅升级改造项目环境影响报告书简本.doc VIP
- 广东花城版七年级音乐教学计划(通用10篇).doc
- 二年级上册数学教材分析.pdf
- 基因工程___电子版.doc
- 蚌埠医学院第一附属医院临床医学研究伦理会审查批件.doc
文档评论(0)