大数据采集与爬虫实训作业习题答案 .pdfVIP

第一章

1.通过PyCharm建立一个项目，项目名称自定。在该项目中实现一个WelcometoPython!

程序。

1）PyCharm创建项目。首先，双击桌面的PyCharm图标打开PyCharm程序，选择“File”

—“NewProject”，然后在弹出的窗口中的location文本框中自定义项目名称为：你的项

目名称，并将该项目存放在位置：项目存放路径。

2）将鼠标移到项目根节点，右击鼠标，选择“New”—“PythonFile”。这样就可以在

PyCharm中创建一个基于Python3.6基础解释器作为编程环境的Python文件。在此，将该

文件命名为：你的文件名称

3)在右边的代码编辑框中输入：print(WelcometoPython!)

4)运行该文件即可。

2.通过PyCharm建立一个项目，项目名称自定。在该项目中定义一个列表，并使用列表函数

append()向该列表中添加数据，最后使用for循环语句遍历输出。

list1=[hello,world,2020]

list1.append(python)##使用append()添加元素

print(list1[3]:,list1[3])#输出添加的元素

foreinlist1:#循环遍历列表元素

print(e)

第二章

1.通过导入requests库，使用该库爬取Python官方网站页面数据。

importrequests

req=requests.get()

req.encoding=utf-8

print(req.text)

2.通过导入lxml和BeautifulSoup，使用该库解析爬取的Python官方网站页面数据。

frombs4importBeautifulSoup

req=requests.get()

req.encoding=utf-8

soup=BeautifulSoup(req.text,lxml)

print(soup.title.string)

item=soup.select(#topnavulli.python-meta.current_item.sel

ectedcurrent_branch.selecteda)

print(item)

第三章

1.使用Python读取和输出CSV和JSON数据。

读取CSV，数据自定义。

importcsv

file_to_use=学生信息.csv

withopen(file_to_use,r,encoding=utf-8)asf:

r=csv.reader(f)

file_header=next(r)

print(file_header)

forid,file_header_colinenumerate(file_header):

print(id,file_header_col)

forrowinr:

ifrow[2]==学号:

print(row)

写入CSV，数据自定义。

importcsv

withopen(学生信息.csv,a,encoding=utf-8)asf:

wr=csv.writer(f)

wr.writerows([[大数据运维,hadoop,高级技术员,张三],[大数

据开发,python,中级技术员,李四]])

wr.writerow([大数据运维,hadoop,高级技术员,张三])

wr.writerow([大数据开发,python,中级技术员,李四])

2.使用Python连接MySQL，创建数据库和表，并实现增删查改。

importpymysql

db=pymysql.connect(localhost,root,你的密码,你的数据库名称)

cursor=db.cursor()

cur