分析了豌豆荚 7 万款 App，全是万万没想到.docxVIP

分析了豌豆荚 7 万款 App，全是万万没想到 PAGE 1 分析了豌豆荚 7 万款 App，全是万万没想到 使用 Scrapy 爬取豌豆荚全网 70000+ App，并进行探索性分析。若对数据抓取部分不感兴趣，可以直接下拉到数据分析部分。一、分析背景之前我们使用了 Scrapy 爬取并分析了酷安网 6000+ App，为什么这篇文章又在讲抓 App 呢？因为我喜欢折腾 App，哈哈。当然，主要是因为下面这几点：第一、之前抓取的网页很简单在抓取酷安网时，我们使用 for 循环，遍历了几百页就完成了所有内容的抓取，非常简单，但现实往往不会这么 easy，有时我们要抓的内容会比较庞大，比如抓取整个网站的数据，为了增强爬虫技能，所以本文选择了「豌豆荚」这个网站。目标是： 爬取该网站所有分类下的 App 信息并下载 App 图标，数量在 70,000 左右，比酷安升了一个数量级。第二、再次练习使用强大的 Scrapy 框架之前只是初步地使用了 Scrapy 进行抓取，还没有充分领会到 Scrapy 有多么牛逼，所以本文尝试深入使用 Scrapy，增加随机 UserAgent、代理 IP 和图片下载等设置。第三、对比一下酷安和豌豆荚两个网站相信很多人都在使用豌豆荚下载 App，我则使用酷安较多，所以也想比较一下这两个网站的 App 特点。