第4章 数据科学概述.pptxVIP

第4章

数据科学概述中国石油大学出版社

CONTENTS目录01数据科学的定义与核心任务02Python数据科学常用库03机器学习入门04实战案例05数据科学核心库总结06机器学习应用总结

数据科学的定义与核心任务01

数据科学的定义跨领域融合数据科学融合统计学、计算机科学、数学知识，是多学科交叉领域。目标与价值旨在从数据提取有价值知识，为决策提供依据，揭示隐藏模式。数据全生命周期涵盖数据采集、预处理、建模、评估、可视化及应用的全过程。

数据采集采集渠道从数据库、传感器、网络抓取、API接口等多渠道收集原始数据。重要性确保数据完整性、准确性和时效性，为后续分析奠定基础。实际案例如电商平台从交易记录、用户行为等采集数据用于分析。

数据清洗与预处理异常值处理采用Z-score或IQR方法检测与修正异常值，提升数据质量。缺失值处理可选择填充或删除缺失值，保障数据完整可用。格式标准化统一数据格式，进行归一化或标准化处理，方便分析。

数据探索与描述性分析探索性数据分析运用探索性数据分析，初步了解数据基本特征与潜在关系。统计图表借助统计图表，如柱状图、折线图，直观展示数据特征。分布与相关性分析通过分布与相关性分析，挖掘数据内在联系与规律。

数据建模与机器学习生成型建模通过聚类分析、关联规则，发现数据潜在结构与模式。预测型建模利用回归、决策树等算法，基于历史数据预测未来结果。应用场景在金融风险预测、客户分类等场景发挥重要作用。

模型评估与验证交叉验证通过多次训练/测试拆分并平均结果，稳定估计泛化误差。测试集评估用测试集评估模型在未见数据上的泛化能力。性能指标依据准确率、召回率等指标，确保模型可靠性与稳定性。

数据可视化与结果传播可视化的作用帮助数据科学家理解数据，向决策者直观传达分析结果。常见图表方法运用折线图、散点图等，清晰展示数据特征与关系。结果传播有效传播分析结果，助力决策制定与业务发展。

Python数据科学常用库02

pandas常用操作构造DataFrame通过字典构造DataFrame，如df=pd.DataFrame({Name:[Alice],Age:[25]})。数据导入导出能导出为CSV、Excel文件，如df.to_csv(data.csv)；也可读取，如pd.read_csv(data.csv)。查看数据信息用head()看前几行，info()了解列类型，describe()获取数值列统计汇总。缺失值处理可删除含缺失值行，如df.dropna()；也能用均值填充，如df[Age].fillna(df[Age].mean())。分组与聚合及合并按类别分组聚合，如df_sales.groupby(Category)；还能合并DataFrame，如pd.merge(df1,df2,on=key)。

matplotlib常用操作显示字体设置设置支持中文的字体，如plt.rcParams[font.sans-serif]=[SimHei]。绘制折线图用plot函数绘制，可设标记和线型，如plt.plot(x,y,marker=o,linestyle=-)。绘制散点图使用scatter函数，可设颜色、大小、透明度，如plt.scatter(x,y,c=red)。绘制柱状图通过bar函数绘制，如plt.bar(labels,values)，展示数据对比。多条折线与图例及图像保存可绘制多条折线并添加图例，如plt.legend(loc=upperleft)；还能保存图像，如plt.savefig(figure.png)。

numpy常用操作数组创建可从Python列表创建数组，也能创建全零矩阵、等差或等间隔数组，如np.array([2,3,4])。索引与切片能精准获取数组特定元素，如arr[1,2]获取二维数组特定位置元素，还可布尔索引筛选。重塑与拼接可改变数组形状，如e.reshape((2,3))；也能拼接数组，像np.concatenate([a,a])。广播与向量化支持标量广播，如x+10；不同形状数组也能自动对齐运算，如x+y。统计聚合可计算数组均值、标准差、总和等，如data.mean(axis=0)计算每列平均值。

机器学习入门03

机器学习简介机器学习的概念机器学习是人工智能核心分支，让计算机从数据自动学规律，实现预测或决策，具备从经验学习能力。监督学习监督学习用带标签数据训练，模型从输入特征预测目标标签，如房价预测。无监督学习无监督学习处理无标签数据，自行发现数据结构，像客户分群用于市场细分。

scikit-learn库开源与维护scik