目录6.2数据处理系统实现与展示6.1数据处理项目设计92.pptxVIP

目录6.2数据处理系统实现与展示6.1数据处理项目设计

学生能够理解项目驱动式数据处理流程的构建逻辑，掌握完整的数据工程任务结构。能够根据实际需求选择合适的数据处理方法、工具和工作流。学生能够掌握实际数据处理项目从原始数据到展示输出的完整实现过程。学习目标了解项目实施中常见问题的应对策略与优化思路

6.2数据处理系统实现与展示

4016.2.1数据处理系统实现与展示项目描述在完成初步工具集成测试后，本节正式进入项目的数据处理系统构建环节。目标是基于真实/模拟评论数据，构建一个具备完整数据处理能力的Python系统，能够从原始网页/文件中获取数据，完成清洗、特征转换、字段合并与最终持久化存储，形成可用于建模或分析的数据表。本项目将处理约400条评论数据，包括网页采集的图书信息（模拟评论）与Kaggle抽取的亚马逊书籍评论数据。处理内容涉及文本清洗、评分标准化、价格缩放、日期转换等典型流程，最终生成统一结构的融合数据表

5016.2.1数据处理系统实现与展示项目分析任务编号任务名称技术目标及说明任务一多数据源读取与统一结构提取读取web_reviews.csv与kaggle_reviews.csv，标准化字段格式任务二数据清洗与缺失值处理清洗非法评分、空白评论、重复数据等任务三特征转换与合并处理对价格进行标准化，对时间戳格式转换，对评论进行长度统计任务四数据持久化与预览展示保存为combined_reviews.csv，输出部分内容进行验证

6016.2.1数据处理系统实现与展示项目实施-任务一：多数据源读取与统一结构提取任务规划读取两个数据源CSV文件统一列名、数据类型、填补缺失字任务实施创建脚本：src/task1_read_and_merge.pyimportpandasaspd#读取网页模拟数据df_web=pd.read_csv(data/web_reviews.csv)#读取Kaggle实际评论数据df_kaggle=pd.read_csv(data/kaggle_reviews.csv)#字段标准化与重命名df_web=df_web[[title,price,rating,comment]].copy()df_web[date]=2024-01-01#模拟评论日期df_web[source]=webdf_web.rename(columns={title:item_name},inplace=True)#Kaggle数据字段统一df_kaggle=df_kaggle.rename(columns={reviewerID:item_name,timestamp:date})df_kaggle=df_kaggle[[item_name,rating,comment,date]]df_kaggle[price]=None#Kaggle数据中无价格df_kaggle[source]=kaggle#合并两个数据表df_all=pd.concat([df_web,df_kaggle],ignore_index=True)#保存中间文件df_all.to_csv(data/combined_step1.csv,index=False,encoding=utf-8-sig)print(任务一完成：已统一字段格式，合并生成combined_step1.csv)

7016.2.1数据处理系统实现与展示项目实施-任务一：多数据源读取与统一结构提取运行结果预览文件名：data/combined_step1.csv记录数：约400条字段：item_name,price,rating,comment,date,source

8016.2.1数据处理系统实现与展示项目实施-任务二：数据清洗与缺失值处理任务规划去除空评论、评分缺失、评分越界、重复记录填补默认值：价格为0，日期转换为YYYY-MM-DD格式任务实施创建脚本：src/task2_cleaning.pyimportpandasaspdfromdatetimeimportdatetime#读取上一步数据df=pd.read_csv(data/combined_step1.csv)#清除空评论和非法评分df.dropna(subset=[comment,rating],inplace=True)df=df[df[rating].between(1,5)]#填补空价格字段df[price]=df[price].fillna(0)#日期格式统一（如为数字时间戳，则转换）defconv