基于Scrapy的Web电商导购应用分析和设计.docxVIP

基于Scrapy的Web电商导购应用分析和设计 摘 要 伴随互联网在中国的蓬勃发展，智能手机普及率的持续提高，4G和无线网络的不断覆盖和移动支付服务规模的扩大，各类电商应用如雨后春笋般不断涌现。由此应用而生的电商导购类应用不仅可以满足广大网民的购物需求，而且也为电商平台的流量拓展和渠道推广提供了良好的条件。 基于这样的背景下，本文通过研究 Python 爬虫框架 Scrapy 、数据持久化存储Mongodb、Web 后端框架Laravel 等相关技术，搭建 Web 自动化爬虫框架 Scrapy 获取京东网各大商铺、分类和商品页面，并将其关键信息解析出来存储至非关系型数据库Mongodb，再通过