有读者问我怎么爬App,我手把手教了他(多图警告).docxVIP

有读者问我怎么爬App,我手把手教了他(多图警告).docx

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
有读者问我怎样爬App,我手把手教了他(多图警告) 大家好,我是Kuls。 最近观察很多读者在说怎样抓取APP上的内容 为此,我打算写一些关于爬取APP方面的文章,当然APP的爬取自然是要比网页要麻烦。 但是只需我们把前期的工作做好,后面也会愈加的顺当。 今日这篇文章就是来教大家如何抓取到APP数据,用什么软件,怎样配置? Charles 首先,我们来看看百度百科是怎样引见这款软件的 是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当扫瞄器连接Charles的代理访问互联网时,Charles可以监控扫瞄器发送和接收的全部数据。它允许一个开发者查看全部连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)。 其实简约理解就是一个抓包软件,这个大家可能少见,但是fiddler和wireshack大家应当是有所耳闻。其实功能差不多类似。 为什么推举这款呢? 其实不管是app抓包还是pc端的抓包也有其他的一些软件,但是charles它既有win版、macos版也有linux版。 所以它兼容的平台是很多的。 废话不多说了,我们直接开整(此处使用macos系统演示,其他系统类似)。 预备工作:一台电脑、一部手机、一个wifi 第一步当然是把软件下载好,这里不多说,尽量去搜pj版,由于charles是需要付费,但是也会有30天的试用期。 下面我们打开软件charles,找到菜单栏Proxy-Proxy Settings 这里我们设置成8888端口,默认就是8888的不需要再次设置了。 之后,我们再进入Proxy-SSL Proxying Settings 添加一个地址为 * ,端口为443 安装证书 安装完成之后,我们可以看到如下证书 这说明我们的证书安装完成。 接下来,我们还要连续安装一个证书。 点击之后,它会弹出如下弹窗 大体的意思就是让我们去把手机的wifi中代理改了。 这里其实很简约,我们进入手机的设置,然后点击wifi后面的感叹号就能进行设置(手机有差异,自行揣摩) 进入手动配置代理,这里的服务器填写你电脑的ip(macos使用ifconfig,windows使用ipconfig可以查看),在前面的提示窗口中,我们也能够看到ip地址。 端口号填写我们之前设置的8888 点击存储,然后我们使用扫瞄器去访问/ssl 假如此时访问没反应,可以看下电脑,会有一个弹窗,点击Allow即可。 这里我们点击允许 然后回到设置,我们就可以看到安装描述文件的提示了 我们这里点击安装就可以了。 最终,我们来简约测试一下,我们打开小红书app,然后可以观看到charles已经开头抓取了。 这就说明白,我们成功进行配置了。 总结 这是我们想要进行app或者小程序抓取的第一步,假如这一步没做好,后面的工作根本无法进行。 这里要说明下,每一台手机都有可能不一样,但是总体来说不会有太大差别。 -----------

文档评论(0)

duanbingbing + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档