从海量数据到大数据-数据挖掘算法、过程及应用案例.pdf

从海量数据到大数据-数据挖掘算法、 过程及应用案例 BOC 曾立平 目录 一、数据挖掘需求 二、数据挖掘流程 三、常用算法介绍 四、模型应用案例 五、大数据挖掘技术 六、大数据应用案例 几个问题 • 数据挖掘是什么？ • 数据挖掘与统计学的区别 • 数据挖掘与数据分析的区别 数据挖掘几大核心问题 目录 一、数据挖掘需求 二、数据挖掘流程 三、常用算法介绍 四、模型应用案例 五、大数据挖掘技术 六、大数据应用案例 数据挖掘项目流程  1: business understanding: 即商业理解。 CRISP-DM过程 • 根据客户的消费行为进行聚类，为营销人员提供用户的实际消费特征； 2.data understanding: 数据的理解、收集、对 可用的数据进行评估. •在数据仓库中收集客户的消费、语音、数据业务数据，并分析评估数据的 有效性；  3: data preparation: 数据的准备 • 对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求；  4:modeling: 即应用数据挖掘工具建立模型 • 如，根据实际数据情况，我们采用聚类分析TWO-STEP模型进行分析；  5:evaluation: 模型评估 • 重点具体考虑得出的结果是否符合第一步的商业目的  6: deployment: 部署 • 即将其发现的结果以及过程组织成为可读文本形式.(数据挖掘报告) 亚联数据挖掘建模流程 问题理解 数据准备 模型准备 问题理解 数据准备 模型准备 数据 数据 数据 变量 变量 数据 数据 数据 变量 变量 提取 检验 加工 筛选 变换 提取 检验 加工 筛选 变换 数据 算法