大数据分析 第二章 爬虫与大数据.ppt

使用GET方式抓取数据，代码如下： import requests url= strhtml=requests.get(url) print(strhtml.text) 语句含义如下： import requests：导入requests库 url=：访问目标网页 strhtml=requests.get(url)：将获取的数据保存到strhtml变量中 print(strhtml.text)：打印网页源码 2.4 爬虫抓取网页内容 import requests from bs4 import BeautifulSoup import time ? headers = { User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36 } ? def get_info(url): wb_data = requests.get(url,headers=headers) soup = BeautifulSoup(wb_data.text,lxml) ranks = soup.select(span.pc_temp_num) titles = soup.select(div.pc_temp_songlist ul li a) times = soup.select(span.pc_temp_tips_r span) for rank,title,time in zip(ranks,titles,times): data = { rank:rank.get_text().strip(), singer:title.get_text().split(-)[0], song:title.get_text().split(-)[0], time:time.get_text().strip() } print(data) ? if __name__ == __main__: urls = [/yy/rank/home/{}-8888.html.format(str(i)) for i in range(1,24)] for url in urls: get_info(url) time.sleep(1) 本章小结 （1）网络爬虫(Web Spider)又称之为网络机器人、网络蜘蛛，是一种通过既定规则，能够自动提取网页信息的程序。网络爬虫在信息搜索和数据挖掘过程中扮演着重要的角色。 （2）Python语言具有开源、免费、功能强大；语法简洁清晰，强制用空白符(white space)作为语句缩进；具有丰富和强大的库；易读、易维护，用途广泛；解释性语言，其变量类型可改变，类似于JavaScript语言等特点。 （3）Python的语句向右边缩进，它是靠缩进语句来表示要执行的语句的。 （4）Python的变量是没有类型的，但这绝不是说 Python就没有数据类型。Python常用的数据类型包含整型、浮点型、布尔类型、字符串类型、列表类型、元组类型等各种不同的数据类型。 （5）基础爬虫框架主要包括五大模块，分别为爬虫调度器、URL管理器、HTML下载器、HTML解析器和数据存储器。 （6）使用 Python编写爬虫代码，需要用到Python专门的urllib模块和Requests库。 大数据分析 第二章 爬虫与大数据 本章学习目标 了解爬虫的定义 掌握Python开发运行环境 使用Python书写爬虫 使用爬虫进行网页内容的抓取 2.1 爬虫的基本概念 网络爬虫(Web Spider)又称之为网络机器人、网络蜘蛛，是一种通过既定规则，能够自动提取网页信息的程序。 在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础，而爬虫技术在这两大核心技术层次中占有很大的比例。 2.2 Python介绍 Python是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明。Python的第一个公开发行版于1991年发行。 Python语言具有如下特点： 开源、免费、功能强大； 语法简洁清晰，强制用空白符( white space)作为语句缩进； 具有丰富和强大的库； 易读