火龙果数据仓库和数据挖掘导读精要.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * HD-bxf * 数据挖掘的功能 Concept description: Characterization(描述) and discrimination(区别) Generalize(归纳), summarize(总结), and contrast data characteristics, e.g., dry vs. wet regions Association (correlation and causality) Diaper à Beer [0.5%, 75%] Classification and Prediction Classification To find a model for predicting the class labels of unseen data Presentation: decision-tree, classification rule, neural network Prediction To predict some unknown or missing numerical values HD-bxf * 数据挖掘的功能 Cluster analysis Class label is unknown: Group data to form new classes Maximizing intra-class similarity minimizing interclass similarity Outlier(孤立点) analysis Outlier: a data object that does not comply with(照做) the general behavior of the data Noise or exception? No! useful in fraud(欺诈) detection, rare events analysis HD-bxf * 数据挖掘的功能 Trend and evolution(演变) analysis Trend and deviation(背离) Sequential pattern mining, periodicity analysis Similarity-based analysis Other pattern-directed or statistical analyses HD-bxf * 数据挖掘方法的分类 我们可以按照各种数据挖掘方法试图发现的知识的类型，把数据挖掘方法分为七类： 概括方法 关联规则挖掘方法 分类方法 聚集方法 时间序列分析方法 预测方法 相似性搜索方法 HD-bxf * 数据挖掘中最常用的技术 人工神经网络 仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。 决策树 代表着决策集的树形结构。 遗传算法 基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。 近邻算法 将数据集合中每一个记录进行分类的方法。 规则推导 从统计意义上对数据中的如果-那么规则进行寻找和推导。 * * * * * * * * * * * * * * * * * * * * * * * * * * * HD-bxf * 数据仓库系统结构 数据源（DataSource） 数据仓库的数据存储（DataStorage） 应用工具（ApplicationTools） 可视化用户界面（Visualization）。 1.4 数据仓库的系统结构与相关问题 HD-bxf * 1.4 数据仓库的系统结构与相关问题 相关问题 数据仓库数据模型 逻辑数据结构 代数操作 数据仓库数据定义与操作语言 数据仓库存储与索引结构 OLAP操作实现算法 OLAP查询处理与优化 数据提取、转换与加载 数据维护 HD-bxf * 第一章 数据仓库概述 1.1 从数据库到数据仓库 1.2 什么是数据仓库 1.3 DBMS vs. DWMS 1.4 数据仓库的系统结构与相关问题 1.5 数据仓库的相关概念 1.5 数据仓库的相关概念 HD-bxf * 1.5 数据仓库的基本概念 ETL：extract/transformation/load ETL工具就是进行数据的抽取、转换和“净化提炼”处理。“净化提炼”即对从多个不同业务数据库所抽取的数据，进行数据项名称的统一、位数的统一、编码的统一和形式的统一，消除重复数据。 ETL工具包括：data extract, data transform, data cleaning, data loading. HD-bxf * 1.