企查查爬虫软件使用指南.pdfVIP

企查查爬虫软件使用指南 本爬虫软件为一个半自动化的数据采集软件，需要用户模拟登录“企查查”网站后，复 制到cookie 值才能进行程序后续的自动化采集工作。而复制cookie 时的界面、快捷键由于 浏览器不同会有所差异，下面截图中的浏览器均是 Chrome （谷歌浏览器），也推荐使用 Chrome，安装包已提供。 1、打开软件，进入如下黑框界面，这时要求输入cookie: 2、获取 cookie: 手动进入企查查官网，用自己的帐号登录系统 （最好不要不登录），然后 在搜索框中随便输入一个公司名称 这时按F12 打开浏览器页面管理界面，如下图 （红色边框区域就是管理界面）： 在上方按钮条中点击“network”: 然后如下图，注意保证红色圆圈内的All 是灰色（选中）的 这时点击 “刷新”，会发现下方多了很多条数据： 我们的目标就是要找到这个 search 开头的条目，点击它。如果没有找到，可能是没有移动 滑块，可以使用上图右侧滑块向上滑动，一般这个search 就是在第一个，如果不在第一个， 可以用上面搜索框快速搜到： 点开这个search 以后就有了下图，这时我们继续向下移动滑块，找到以Cookie:开头的这项， 把它后面的数据复制，如下图红色框中部分： 3、粘贴到程序中，注意粘贴的时候要这样点击，直接点击右键是不行的，更不能用ctrl+V 4 、敲回车，正式进入程序，下面就和我们在网站搜索框中搜索公司一样了，可以输入自己 想查的东西，它会按页数爬下来，爬下来的数据保存在和这个爬虫软件一个目录中，名为 enterprise_data 的excel 表中 注意事项： 0 、模拟登录复制cookie 的操作不需要用一次软件复制一次，这个cookie 的有效期很长，复 制一次，存在一个txt 文件中，下次打开软件，继续复制它就可以了，应该可以用好几 天。然后保证不要对Chrome 浏览器进行清空，特别是不要选清除cookie 选项，否则cookie 立即失效。 1、如果第一次没有enterprise_data.xls 这个excel 文件程序会帮忙创建，不需要人工创建 2、数据是追加到这个 excel 表格的，即关了程序后，第二次再打开程序，不会覆盖之前采 集好的数据，而是紧随其后继续写入 3、请勿在爬取过程中打开 excel 表格，否则会中断，而下次再爬这个搜索值的时候，数据 就会重复了，如果不在乎那无所谓 4 、支持连续输入，即比如爬完“阿里巴巴”这个搜索值后，程序提示“爬虫结束，请输入：”， 这时又可以输入下一个要爬的搜索值“百度” 5、一般不要光输入地名，输入也没事，程序会继续提示你输入下一个有效搜索值，比如“杭 州”“北京”，否则会查不到，这个网站是按照公司名称来搜索的，所以最好这样“杭州 阿里巴巴”、“北京 百度”，以空格分开