数据爬取js分析（一）：Python爬虫分析网页js加密解密.pdfVIP

数据爬取js分析（⼀）：Python爬⾍分析⽹页js加密解密 在前⼏天学习 Python 模拟登录知乎实例，其中关于涉及到了 fromdata 的加密处理，再学习的过程中，发现利⽤ chrome devtool调试 分析⽹页还是有很多技巧需要学习，因此⾃⼰找了⼀个简单的实例⽤来学习 js 加密。 ⼀、实例⽹站 本实例的⽹站是，学习利⽤ chome 浏览器的 devtool ⼯具对 fromdata 进⾏加密处理。 ⼆、分析页⾯逻辑 1.抓包分析 ⽤ chrome 打开该⽹页，然后按 F12 打开开发者⼯具 devtool，点击切换到“network”标签页。为了⽅便查看，先清除之前的请求过 程，然后在⽹页上切换城市，即可看到新的 xhr 请求。 可以看到模拟登录 POST 的链接，我们最终的⽬标是构建 POST 请求所需的 headers 和 Form data 这两部分内容。 继续看 Requests Headers 信息，经过对不同城市的查询结果⽐对，发现 Headers 并未有什么独特的特征，因此我们仅先保留⼀部分必 要信息。 接着，我们就需要考虑如何构建 Form data 数据。 2.调试分析 3.加密分析 知道位置后，我们可以直接把这个加密的 js ⽅法都扣出来，放在⼀个 html ⽂件内执⾏就好。 var getParam = (function () { function ObjectSort(obj) { var newObject = {}; Object.keys(obj).sort().map(function (key) { newObject[key] = obj[key] }); return newObject } return function (method, obj) { var appId = 1a45f75b824b2dc628d5955356b5ef18; var clienttype = WEB; var timestamp = new Date().getTime(); var param = { appId: appId, method: method, timestamp: timestamp, clienttype: clienttype, object: obj, secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj))) }; param = BASE64.encrypt(JSON.stringify(param)); return AES.encrypt(param, aes_client_key, aes_client_iv) } })(); 将该⽅法中涉及到的 js ⽅法⼀起提取出来，除了 jqury-1.8.0.min.js?v=1.2 ⽂件中的必需⽅法之外，我们还需要将 city_detail.html 中的 getAQIData ⽅法提取出来，将所有的 JavaScript 放⼊到⼀个 html ⽂件，放在 script 标签内即可。 记得将查询条件数据放⼊到⽅法中。 在 js 中执⾏ document.write(getAQIData()) ，页⾯输出正确。 三、Python 实现加密 使⽤ python 的 execjs 来执⾏ JavaScript 代码，除了需要安装 execjs 包，还要安装 node 环境。具体安装可以参考⽹上教程。 def encrypt(self, form_data): 对查询条件栏的数据，进⾏加密 :param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等 :return:加密后的字符串 with open(encrypt.js,encoding=utf-8) as f: js = pile(f.read()) return js.call(getAQIData,form_data) 在测试的过程中，如果遇到 execjs._exceptions.Pr