简单的网页爬虫开发.pptxVIP

;第9章 抓包与中间人爬虫;9.1 数据抓包;9.1.1 Charles的介绍和使用;要简化寻找数据的过程，就需要设法直接全局搜索网页的所有请求的返回数据。 为了实现这个目的，就需要使用Charles。Charles是一个跨平台的HTTP抓包工具。使用它可以像Chrome一样截取HTTP或者HTTPS 请求的数据包。同时Charles还有Chrome所不具备的很多奇妙功能。;1．Charles的安装和使用 Charles是一个收费软件，官方网站地址为https://www.charlespr com/。如果没有注册，安装以后的前30天可以正常使用。30天以后，虽然功能不会缩水，但每过30分钟Charles会自动关闭一次。 Charles有Windows 32位/64位版、Mac OS版和Linux 64位版。读者可在下载页面选择符合自己系统的版本进行下载。;Charles的下载和安装没有任何难点。在Windows系统中，直接双击安装文件进行安装即可，任何设置都不需要修改，同意许可协议以后，一直单击“Next”按钮直到安装完成；在Mac OS系统中双击下载下来的.dmg文件，同意许可协议以后，把Charles的水瓶图标拖到Application这个文件夹里面即可，如图9-1所示。;图9-1;安装完成后，第一次运行Charles会弹出一个对话框，提示 需要获取权限来自动配置网络，单击“