Python网络爬虫实习精选报告总结计划归纳.doc.docxVIP

Python网络爬虫实习报告 目录 、 选题背景 、 爬虫原理 ▲ 、 爬虫历史和分类 四、 常用爬虫框架比较 Scrapy框架：Scrapy框架是一套比较成熟的Python爬虫框架，是使用 Python开发的快速、高层次的信息爬取框架，可以高效的爬取 web页 面并提取出结构化数据。Scrapy应用范围很广，爬虫开发、数据挖掘、 数据监测、自动化测试等。 Crawley框架：Crawley也是Python开发岀的爬虫框架，该框架致力于 改变人们从互联网中提取数据的方式。 Portia框架：Portia框架是一款允许没有任何编程基础的用户可视化 地爬取网页的爬虫框架。 newspaper框架：newspaper框架是一个用来提取新闻、文章以及内 容分析的Python爬虫框架。 Python-goose框架：Python-goose框架可提取的信息包括：vl＞文章 主体内容；＜2＞文章主要图片;＜3＞文章中嵌入的任heYoutubeA^imeo视 频;v4＞元描述;＜5＞元标签 五、数据爬取实战（豆瓣网爬取电影数据） 1分析网页 #获取html源代码 def―getHtml(): data =[] pageNum = 1 pageSize = 0 try: while (pageSize = 125): # ReferefiNone # 注意如果依然不能抓取的话，这里 可以设置抓取网站的host # } # = [headers] pageNum) pageSize += 25 pageNum += 1 print(pageSize, pageNum) except Exception as e: raise e re turn data 2爬取数据 def―getData(html): title = [] #电影标题 #rating_num = [] # 评分 range_num = [] # 排名 #rating_people_num 二[]# 评价人数 movie_author = [] # 导演 data = {} # bs4 解析 html soup = BeautifiilSoup(html, ,,n) for li in (noln9 attrs = fclass,: ,grid_vie w,}).find_a ll(nliH): (Hspann, class_=titleH).text) #(ndivH, class_=tstar).find(!spann, class_=,rating_num).te xt) (ndivn, class_=,pic,).find(nemn).text) #spans 二(div, class_=star,).find_all(nspan,) #for x in range(len(spans)): # if x V二 2: pass else: (spans [x].string[-len(spans[x].string):-3]) str = (ndivn, class_-bcf)?finciCp, class_=n).() index = (H 主 J if (index == -1): index =(”???) =210):print(ndiv\ class_=,pic,).find(nemn).text) =210): if (ndivn, class_=pic)find(%nr)?text index = 60 # print(HaaaH) # print(str[4:index]) (str[4:index]) data [title] = title #data [,rating_num,] = rating_num data[Tange_num‘] = range_num #data [,rating_people_numl] = rating_people_num data [,movie_author,] = movie_author re turn data 3数据整理、转换 def―getMovies(data): (nhtmln) (nheadxmeta charset=!UTF-8!titleInsert title here /title /h eadn) (nbodyH) (nh 1 爬取豆瓣电影v/h 1 n) (nh4 作者：刘文斌/h4n) (nh4 时间:n + nowtime + n/h4n) (nhrn) (ntable width=,800px, border=,l, align=centern) (ntheadn) (ntrH) (nthxfbnt size =5 color=green 电影 /fontx/thn