大数据技术导论课件 项目7+数据分析与建模技术.pptxVIP

2026.4项目7数据分析与建模技术

目录CONTENTS01数据分析概述02业务理解：数据分析的第一步03数据认知：快速提取信息04分析指标设计05数据建模06内存计算引擎Spark07数据仓库Hive09项目实施08总结与展望

01数据分析概述

数据分析核心定义核心目的大数据分析三大转变狭义与广义区分运用统计方法对大量数据进行变换、分类、汇总与展现。提取有用信息，形成决策依据，驱动业务优化。从抽样转向全体数据；从精度优先转向效率优先；从因果性转向相关性。狭义：统计分析+可视化分析；广义：包含数据挖掘。定义与目标

表7.1展示某地财政收入对比，体现增长趋势。统计分析应用包括对比、分组、交叉及回归分析等。分析方法类型图7.1显示公司员工籍贯分布，直观呈现地域特征。可视化分析实例生成特征统计量，如均值、增长率、比例等。输出结果形式狭义数据分析

包含年龄、性别、肝功能指标等多维字段。表7.2患者信息示例单纯统计无法完成“肝炎”自动判别任务。分类规则挑战在狭义基础上引入数据挖掘技术。概念拓展需借助聚类、分类、回归、关联规则等算法发现潜在规律。数据挖掘必要性广义数据分析

技术手段应用聚类、分类、回归、关联规则挖掘价值。输入特征大量、不完全、有噪声、模糊、随机的实际数据。输出成果发现隐藏模式、预测趋势、支持决策制定。实际意义是实现数据资产变现的关键路径。数据挖掘定义

02业务理解：数据