杨崇普实践报告.pptxVIP

21215120421_杨崇普_实践报告4

-2目录CONTENTS读取数据1写入数据3查看数据2查看数据5读取数据4写入数据6

21215120421_杨崇普_实践报告4广东东软学院实践报告课程名称：Python项目实践项目名称：房价数据分析系统班级：软工四班专业：软件工程任课教师：邝辉宇学号：21215120421姓名：杨崇普

21215120421_杨崇普_实践报告4广东东软学院教务部制姓名杨崇普实践报告成绩

21215120421_杨崇普_实践报告4评语指导教师(签名)2023年12月26日说明：指导教师评分后，实验报告交院系办公室保存实践报告撰写要求实践报告按实践项目填写：每个学生做完项目必须撰写并提交实践报告。本科学生实践报告正文不少于3000字，专科学生不少于2500字实践报告内容标题由指导老师根据项目实际情况向学生做出具体规定：可参考如下内容：实践目的和任务、实践内容、结论与建议实践报告排版要求

21215120421_杨崇普_实践报践报告页码从正文页面起计算：页码字号，选用小四号粗黑体并居中正文%2、实践目的和任务统一用A4(21X29.7cm)格式标题用小二号黑体加粗：正文用四号宋体。行距为固定值20磅页面上边距2.54cm：下边距2.54cm，左边距3cm，右边距2.2cm

21215120421_杨崇普_实践报告4实践目的和任务1.本实践项目旨在通过爬虫获取广州和佛山不同区域的房价数据，并使用Python中的Pandas库对数据进行处理、分析和可视化展示。具体任务如下2.环境准备：了解并安装VSCode作为开发环境，配置Python环境和相关依赖库(如Pandas、Matplotlib等)3.爬虫程序编写：学习基于Python的爬虫编写方式和方法，使用合适的爬虫库(如BeautifulSoup、Scrapy等)编写爬虫程序，从指定的房价网站上获取广州和佛山不同区域的房价数据。注意遵守网站的规定和法律法规，尊重数据的版权和隐私4.数据存储方式：了解数据的存储方式，可以选择将爬取到的数据存储在本地文件中(如CSV、Excel等格式)，或者使用数据库进行存储(如MySQL、SQLite等)。根据实际需求和数据量选择合适的存储方式

21215120421_杨崇普_实践报告45.数据处理和分析：使用Pandas库加载爬取到的房价数据，进行数据清洗、处理和分析。可以使用Pandas提供的各种功能和方法对数据进行筛选、排序、聚合、计算等操作，以获取所需的统计指标和分析结果6.数据可视化：使用Matplotlib库对处理后的数据进行可视化展示。可以绘制柱状图、折线图、散点图、热力图等不同类型的图表，以直观地展示房价数据的分布、趋势和关系。根据需求可以添加标题、轴标签、图例等元素，美化图表的样式和布局7.系统集成和代码重构：将各个功能模块进行系统集成，构建一个完整的房价数据分析系统。同时，以面向对象的思想对代码进行重构，提高代码的复用性、可维护性和扩展性。通过合理的设计模式和架构，优化系统的性能和用户体验%2、实践内容

21215120421_杨崇普_实践报告4Scrapy爬虫获取数据1.分析网页结构1)采用安居客网页信息作为信息来源，直接点击进入二手房信息的页面2)观察整体页面结构

21215120421_杨崇普_实践报告41.设计代码这里应用了XPath来采取信息

21215120421_杨崇普_实践报告4通过资料查询，python的数据储存方式有以下几种1.文本文件：你可以将数据保存为文本文件，如CSV(逗号分隔值)文件、JSON(JavaScript对象表示)文件、XML(可扩展标记语言)文件等。这些文件格式是常见的数据交换格式，易于读取和处理2.数据库：Python提供了多个数据库接口，如SQLite、MySQL、PostgreSQL等。你可以使用这些接口来连接数据库，并将数据存储在数据库中。数据库提供了结构化和持久化的数据存储方式，适用于大规模数据和复杂查询

21215120421_杨崇普_实践报告43.Excel文件：如果你需要将数据存储为电子表格格式，可以使用Python的第三方库，如Pandas和Openpyxl，来读写Excel文件4.Pickle：Pickle是Python的序列化模块，可以将Python对象转换为字节流，并将其保存到文件中。这种方式适用于存储Python特定的对象，如列表、字典、类实例等5.HDF5：HDF5是一种用于存储和组织大规模科学数据的文件格式。你可以使用Python的h5py库来读