Python爬虫进阶：多级页面数据抓取与数据库持久化.pdfVIP

第四天

第三天回顾

爬取思路

1、先确定是否为动态加载2、寻找

URL规律3、正则表达式(页面结构并不完

全可靠)4、定义程序框架，补全并测试代

码

数据持久化

‑

CSV

导入csv

with

open(xxx.csv,w)

as

f:

writer

=csv.writer(f)

writer.writerow([])

writer.writerows([(),(),()])

with

open(xxx.csv,a,encodingutf‑8‑sig)

#感

谢可乐同学

数据持久化

‑

MySQL

导入pymysql

#

__init__(self):

self.db

=pymysql.connect(IP,...

...)

self.cursor

=

self.db.cursor()

#

write_data(self):

self.cursor.execute(sql,[data1])

self.cursor.executemany(sql,[(data1),(data2),(data3)])

mit()

#

main(self):

self.cursor.close()

self.db.clo