大数据--学习笔记讲述.doc

引论 什么是数据挖掘？ 数据挖掘更正确的命名为“从数据中挖掘知识”，是数据中的知识发现（KDD）的同义词。数据挖掘是从大量数据中挖掘有趣模式和知识的过程，数据源包括数据库、数据仓库、web、其他信息存储库或动态的流入系统的数据。 知识发现的过程是什么？ 知识发现的过程为： （1）数据清理（消除噪声和删除不一致的数据） （2）数据集成（多种数据源可以组合在一起） （3）数据选择（从数据库中提取与分析任务相关的数据） （4）数据变换（通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式） （5）数据挖掘（基本步骤，使用智能方法提取数据模式） （6）模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） （7）知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识） 3、什么类型的数据可以挖掘？ 数据挖掘可以作用于任何类型的数据，数据的最基本形式是数据库数据、数据仓库数据、事务数据。也可以用于数据流、有序/序列数据、图或网络数据、空间数据、文本数据、多媒体数据和万维网。 数据库数据 由一组内部相关的数据和一组管理和存储数据的软件程序组成。关系数据库是表的汇集，每个表被赋予一个唯一的名字，含有一组属性（列或字段），并且通常存放大量元组（记录或行）。每个元组代表一个对象，被唯一的关键字标识，并被一组属性值描述。通常为关系数据库构建语义数据模型，如实体-联系（ER）数据模型。 数据仓