数据分析师手记——数据分析72个核心问题精解.pptxVIP

数据分析师手记——数据分析72个核心问题精解

CATALOGUE目录数据分析基础概念与技能数据采集与清洗策略数据探索性分析与可视化呈现预测模型构建与评估方法论述因果推断在数据分析中应用探讨大数据时代下的挑战与机遇

01数据分析基础概念与技能

通过对大量数据进行收集、整理、处理、分析和解释，提取有用信息并形成结论的过程。数据分析定义帮助企业和组织更好地理解市场、客户和业务，优化决策，提高效率和竞争力。数据分析重要性数据分析定义及重要性

定量数据（数值型、离散型）、定性数据（分类数据、顺序数据）内部数据（企业自有数据库、业务系统）、外部数据（公开数据集、第三方数据提供商）、实验数据（A/B测试、田野实验）数据类型与数据来源数据来源数据类型

去除重复值、处理缺失值、异常值检测与处理数据清洗数据标准化、归一化、离散化等数据转换图表展示（柱状图、折线图、散点图等）、数据地图、动态交互可视化数据可视化描述性统计、推论性统计、数据挖掘与机器学习等数据分析方法数据处理技能与方法

数据分析师职业素养与道德准则职业素养强烈的好奇心、持续学习能力、团队协作精神、良好的沟通能力道德准则尊重数据隐私和安全、避免数据滥用和误导性结论、保持客观公正的态度

02数据采集与清洗策略

数据采集方法与技术通过自动化程序抓取网站数据，适用于结构化数据的采集。利用应用程序编程接口获取数据，适用于具有开放API的平台。通过SQL等查询语言从数据库中提取数据，适用于企业内部数据库的数据采集。如FTP、SFTP等，适用于批量数据传输和交换。网络爬虫API接口调用数据库查询数据交换协议

确保数据准确无误，消除重复、错误或不一致的数据。准确性完整性一致性可追溯性保证数据的全面性和完整性，避免数据缺失或遗漏。统一数据格式和标准，确保数据在不同系统和平台之间的一致性。保留原始数据和清洗过程记录，以便后续验证和审计。数据清洗原则及步骤

对于明显偏离正常范围的异常值，可以直接删除。删除异常值用平均值、中位数或众数等统计量替换异常值。替换异常值对于某些具有特殊意义的异常值，可以保留并进行分析。保留异常值异常值处理策略

插值法利用已有数据点之间的关系，通过插值算法预测并填补缺失值。众数填补用同一字段的众数填补缺失值，适用于分类型数据。中位数填补用同一字段的中位数填补缺失值，适用于数值型数据。删除缺失值如果缺失比例较小且对分析结果影响不大，可以直接删除含有缺失值的记录。均值填补用同一字段的平均值填补缺失值。缺失值填补技巧

03数据探索性分析与可视化呈现

均值、中位数、众数用于描述数据的集中趋势，反映数据的平均水平或典型值。方差、标准差用于描述数据的离散程度，反映数据波动的大小和稳定性。偏度、峰度用于描述数据分布形态的偏斜程度和尖峭程度，反映数据分布的形状特征。描述性统计量计算及意义

通过矩形的面积表示数据的频数或频率分布，直观展示数据分布形态。直方图QQ图核密度估计通过比较实际数据分位数与理论分布分位数的差异，判断数据是否服从某种特定分布。通过平滑的曲线展示数据分布的概率密度函数，揭示数据分布的总体特征。030201数据分布形态判断方法

03协方差矩阵用于描述多个变量之间的协方差和相关系数，揭示变量间的联动关系和相互影响。01相关系数用于量化两个变量之间的线性相关程度，判断变量间是否存在统计依赖关系。02散点图通过点的分布展示两个变量之间的相关性和趋势，直观判断变量间的关系。数据间关系探索性分析

适用于展示时间序列数据和连续变量的变化趋势，强调数据的动态性和时间性。折线图适用于比较不同类别数据之间的差异和大小关系，强调数据的分类和对比性。柱状图适用于展示数据的占比和构成情况，强调数据的部分与整体关系。饼图适用于展示数据的分布形态、异常值和离群点，强调数据的稳定性和可靠性。箱线图可视化图表类型选择及呈现技巧

04预测模型构建与评估方法论述

参数调整通过交叉验证、网格搜索等方法，对模型参数进行优化。数据准备包括数据清洗、特征选择、数据转换等步骤，确保数据质量和适用性。模型选择根据问题类型和数据特点，选择合适的预测模型。模型训练使用训练数据集对模型进行训练，使其能够学习并拟合数据。模型评估使用测试数据集对模型进行评估，计算评估指标并判断模型性能。预测模型构建流程介绍

ABCD常见预测模型类型及其特点线性回归模型适用于连续型数值预测，简单易懂，计算效率高。随机森林模型集成多个决策树，提高预测准确性和稳定性，但计算复杂度较高。决策树模型易于理解和解释，能够处理非线性关系，但可能过拟合。神经网络模型能够处理复杂的非线性关系，具有强大的拟合能力，但训练时间较长且易陷入局部最优。

模型评估指标选取及计算方法均方误差（MSE）衡量预测值与真实值之间的平均平方误差，适用于连续型数值预测。准确率（Accuracy