《基于Python网络爬虫的设计与实现》14000字.docx

基于Python网络爬虫的设计与实现

摘要

随着大数据，云计算，机器学习，人工智能等领域的兴起，python语言由于其简单易上手和强大的第三方库等特点成为当前炙手可热的一门新兴语言，而爬虫作为一种搜集数据的技术以python为载体也成为当下热度极高的一门技术。

基于此，python的网络爬虫选取的豆瓣电影top250信息获取系统以python爬虫技术入门为目的，采用基本的url请求，运用了标签逐层查询，正则表达式等几种解析技术,爬取了250部经典的电影的详情页信息，电影名称，电影评分，电影一句话概括和电影信息简介等属性；同时选取sqlite数据库，excel文档对数据进行存储。同时为了将结果