第10章 Hive数据分析案例.pptx

第二篇Hive数据仓库Hadoop技术原理与案例教程HadoopTechnicalPrinciplesPractices主编：韩玉民郭丽副主编：王尧张文宁张炎峰缑西梅

第10章Hive数据分析案例第二篇Hive数据仓库

学习目标数据分析是一种使用统计和计算方法来解释、整理和理解数据的过程。它涉及收集、清洗、转换和分析数据，以从中提取有用的信息、发现趋势和模式，并得出相关结论。（1）掌握常用的数据分析方法，包括描述性分析、探索性分析、关联性分析，能够延伸学习更多的数据分析方法，例如预测性分析等。（2）熟练应用Hive技术处理数据集。（3）熟练应用数据分析方法探索已有数据集，得出有效结论。

10.1数据分析流程与数据分析目标选定数据分析是从大量数据中提取有意义信息的过程。数据分析几乎在所有行业中都可以发挥作用，它帮助企业更好地理解和利用数据来取得竞争优势、提高效率和推动创新。

10.1.1数据分析流程数据分析的基本流程如下。（1）确定分析目标：需要明确数据分析目标是什么。即希望回答特定的什么问题，解决哪个业务问题，或者发现隐藏在数据中的规律、趋势和模式。（2）收集数据：需要收集与分析目标相关的数据。这些数据来源多样，包括数据库、日志文件、传感器、调查问卷等。确保收集到的数据是准确、完整的，并且符合设定的分析需求。（3）数据清洗与预处理：在进行数据分析之前，需要对数据进行清洗和预处理。包括去除重复数据、处理缺失值、处理异常值，并对数据进行格式转换和标准化，以便于后续的分析工作。（4）探索性数据分析：在进行正式的分析之前，进行探索性数据分析可以更好地理解数据的特征和关系。通过绘制图表、计算统计指标和进行可视化等方式，可以探索数据中的模式、趋势和异常情况。（5）应用统计分析方法：一旦对数据有了初步的了解，可以选择适当的统计分析方法来回答设定的研究问题或达到分析目标。这可能涉及到描述性统计、推断统计、回归分析、聚类分析、时间序列分析等方法。（6）解释和呈现结果：当完成数据分析后，需要解释获得的结果，并将其呈现给相关的利益相关者。包括编写报告、创建可视化图表、制作演示文稿或交互式仪表板等方式，以便他人能够理解此次数据分析的发现，并作出相应的决策。（7）持续改进：数据分析是一个迭代的过程，可以根据结果和反馈不断改进当前的分析方法和模型。从数据的反馈中学习，调整分析策略，并不断提高分析的准确性和可信度。

10.1.2数据分析目标选定在确定数据分析目标时，应考虑以下几个关键因素。1.业务需求分析的目标应与业务需求相一致。了解业务问题、决策需求以及希望通过数据分析解决的具体问题，有助于明确分析的方向和目标。2.数据可用性目标的选定应基于可用的数据资源。了解可用的数据类型、数据量、数据质量以及数据的时间范围等方面的限制，对目标的设定具有指导意义。3.可行性和可度量性确保目标的可行性和可度量性。目标应具备可操作性，可以通过数据分析来实现，并且应具备可度量性，以便评估分析结果的有效性和达成程度。

10.2常用数据分析方法数据分析中，经常对数据集做描述性的统计分析（DescriptiveDataAnalysis）、探索性的数据分析（ExploratoryDataAnalysis，EDA）以及关联性数据分析（AssociationDataAnalysis）等。这些只是常见的数据分析方法，分析的内容和目标相互之间会有重叠，实际上，数据分析领域有很多不同的技术和方法，具体选择何种方法取决于数据的性质、分析的目标以及可用的工具和技术。需要根据具体的问题和需求，达到对数据的更全面的理解和洞察。

10.2.1描述性统计分析1.描述性分析目标描述性统计分析使用数值和图形来描述和总结数据集基本特征。描述性统计不涉及对数据的推断或预测，只是对数据进行展示和概括。（1）描述数据的集中趋势：计算数据的均值、中位数、众数等统计指标，了解数据的中心位置和集中程度。（2）衡量数据的离散程度：计算数据的标准差、方差、极差等统计指标，了解数据的变异程度和分散程度。（3）理解数据的分布形态：绘制频数分布表、频率直方图、概率密度图等，分析数（4）检测数据的异常值和缺失值：通过统计指标和可视化展示，识别数据中的异常值和缺失值。（5）提供数据的可视化展示：使用图表和图形工具，将数据可视化展示，使数据更具可解释性和洞察力。

10.2.1描述性统计分析2.描述性分析方法描述性数据分析主要依靠统计分析和可视化手段来实现。主要解决以下几类问题。（1）数据的分布情况通过计算数据的统计指标，如均值、中位数、众数、标准差、方差等，以描述数据的集中趋势、离散程度和分布形态。例如观察数据的形状，可以通过绘制直方图、箱线图、茎叶图等来展示数据的对称性