w1大数据挖掘及其背景.pdf

Part 1大数据挖掘及其背景 应用于大数据处理 高级讲师：杨文川 2014/7/17 主要内容 大数据挖掘 数据模型的发现 大数据挖掘知识点 量化一切、利用所有的数据 大数据挖掘的基础 在数字化时代，获取数据正变得比以往任何 时候都简单而不受限制 文字、方位、社交关系等都变成了数据 大数据挖掘 发现数据间的隐含信息 之前信息技术变革的重点在T （技术）上， 而不是在I （信息）上。 现代信息系统让大数据成为了可能，是时候开始 关注信息I本身了。 大数据挖掘的核心动力来源于人类了解和分 析世界的渴望。 传统的数据挖掘 • 数据挖掘(Data Mining) ，又称知识发现 (KDD) –是一个从大量数据中提取、挖掘出未知的、有 价值的模式或规律等知识的复杂过程。 • 数据挖掘是一类深层次的数据分析方法。 –数据挖掘可以描述为：按既定决策目标，对大 量的数据进行探索和分析，揭示隐藏的、未知 的或验证已知的规律性，并进一步将其模型化 的先进有效的方法。 数据、信息与知识 收集 分析 再 客观世界 信息 分 知识 数据 析 指导 经典挖掘模型CRISP-DM 商业理解 数据理解 结果部署 数据准备 数据 建立模型 模型评估 数据挖掘三阶段 数据准备 数据挖掘 结果评价 结果表达和解释 数据挖掘 数据转换 知识 预处理 数据选择 模式 数据集成 预处理后转换数据 目标数据 数据 数据 数据源 常用的数据挖掘方法 关联规则 聚类分析 分类技术 时序模式 偏差检测 预测估计 ……. 传统的数据挖掘软件 • 丏用挖掘工具、通用挖掘工具 – QUEST – MineSet – DBMiner – Intelligent Miner – SAS Enterprise Miner – SPSS Clementine – …… 大数据挖掘面临的挑战 • 数据