大数据数据分析项目实践.docVIP

大数据数据分析项目实践

实践目的

让我们更加准确的了解python爬虫软件的使用，以及对帆软软件等数据可视化化工具的使用，以及对MySQL的基础入门，让我们对数据工具有一个基础的整体了解，并加以延伸扩展。

实践内容

帆软，数据可视化展示

Python——网络爬虫（数据获取）

1.运行代码

fromurllibimportrequest

frombs4importBeautifulSoup

foriinrange(10):

???page=str(i*10)

???url=/board/4?offset=+page

???header={User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/75.0.3770.100Safari/537.36}

???req=request.Request(url,headers=header)

???response=request.urlopen(req)

???html=response.read().decode()

???#print(html)

???soup=BeautifulSoup(html,html.parser)

???index=soup.se