《数据分析基础课件》.ppt

*************************************双变量分析广告支出(万元)销售额(万元)双变量分析探索两个变量之间的关系，是理解因果关系、相关性和依赖性的基础方法。分析方法取决于变量类型组合：两个连续变量通常使用散点图和相关系数；一个连续一个分类变量可使用箱线图或小提琴图；两个分类变量则使用热力图或马赛克图。在进行双变量分析时，需注意以下几点：相关不等于因果，即使发现强相关性也不能直接推断因果关系；检查是否存在非线性关系，如U形或指数关系；留意异常点和分组模式，它们可能揭示隐藏的分类变量；考虑添加趋势线或拟合曲线以量化关系强度。此外，对于分类变量的关联分析，卡方检验和列联比能提供统计显著性评估。多变量分析平行坐标图平行坐标图将多个维度以平行垂直轴表示，每个数据点形成一条穿过各轴的折线。适合探索多维数据中的模式和聚类，特别是当维度达到4个以上时，相比散点图更有优势。通过轴的重排和交互式筛选，可以发现复杂的多变量关系。三维散点图三维散点图在三个坐标轴上展示三个变量的关系，通过交互式旋转可从不同角度观察数据结构。可以添加第四维（通过点的颜色或大小）和第五维（通过点的形状），但解释难度会增加。在识别空间聚类和非线性关系时特别有效。相关矩阵相关矩阵热力图直观展示所有变量对之间的相关强度，是探索高维数据关联结构的有力工具。通过聚类算法可将相似变量分组，揭示潜在的数据结构。这种可视化有助于特征选择和多重共线性检测，为建模提供依据。多变量分析技术还包括主成分分析(PCA)和t-SNE等降维可视化方法，它们可将高维数据投影到二维平面，保留原始数据结构。气泡图、雷达图和树状图也是展示多维关系的常用方法。在实践中，通常需要结合多种可视化技术，从不同角度审视数据，以获得更全面的理解。假设检验基础提出假设首先明确零假设(H?)和备择假设(H?)。零假设通常表示无效应或无差异，而备择假设表示存在效应或差异。例如，测试新药效果时，H?可能是新药与安慰剂无效果差异，H?则是新药比安慰剂更有效。选择检验方法根据数据类型和研究问题选择合适的统计检验。参数检验(如t检验、ANOVA)假设数据服从特定分布；非参数检验(如Mann-WhitneyU检验、Kruskal-Wallis检验)对分布假设较少。单样本、双样本或多样本比较需要不同检验方法。确定显著性水平在进行检验前设定显著性水平(α)，通常为0.05或0.01。这是错误拒绝真实零假设(第一类错误)的最大可接受概率。显著性水平的选择应考虑错误决策的后果，关键决策可能需要更严格的标准。计算统计量和p值基于样本数据计算检验统计量，并确定对应的p值——在零假设为真时观察到当前或更极端结果的概率。统计软件通常会自动完成这一步骤，但理解背后的原理有助于正确解释结果。做出决策并解释将p值与显著性水平比较：如果pα，则拒绝零假设；否则，不拒绝零假设。重要的是正确解释结果——不拒绝零假设并不等于证明零假设正确，而只是表示证据不足以拒绝它。第六章：基础统计模型模型概念统计模型是对现实世界数据生成过程的数学抽象，旨在揭示数据中的模式和关系。好的统计模型应当平衡解释力和预测能力，既能准确描述已有数据，又能可靠预测新数据。模型类型常见模型包括回归模型（线性与非线性）、分类模型、聚类模型和时间序列模型等。不同模型适用于不同类型的问题和数据，选择合适的模型是数据分析的关键决策之一。建模流程建模过程通常包括问题定义、数据准备、模型选择、参数估计、模型评估和结果解释等步骤。这是一个迭代过程，可能需要多次尝试不同模型或调整参数。模型评估评估模型性能需要选择合适的指标和验证方法。常用技术包括交叉验证、训练/测试集分割和bootstrap方法等，确保模型具有足够的泛化能力。本章将介绍几种基础统计模型，包括线性回归、逻辑回归、时间序列分析和聚类分析。这些模型构成了更复杂模型的基础，掌握它们的原理和应用对于理解更高级的机器学习和深度学习模型至关重要。线性回归营销支出(万元)销售额(万元)线性回归是最基础也是最广泛使用的统计模型之一，它假设因变量与一个或多个自变量之间存在线性关系。简单线性回归只有一个自变量，模型形式为y=β?+β?x+ε，其中β?是截距，β?是斜率，ε是误差项。多元线性回归则包含多个自变量，形式为y=β?+β?x?+β?x?+...+β?x?+ε。线性回归通常使用最小二乘法估计参数，即最小化预测值与实际值之差的平方和。模型评估常用指标包括R2（决定系数，表示模型解释的方差比例）、调整后R2、均方误差（MSE）和F统计量。