数据库技术第十三章分解.ppt

第五节 数据挖掘技术概述 异常与异常检测算法的分类 有模式异常检测就是已知异常的模式，或可以得到异常模式，用异常模式来识别异常。 无模式异常检测就是不知道异常的模式，只知道正常模式，而偏离正常模式较远的就认为是异常。 异常检测算法大体可以分为基于统计的算法、基于深度的算法、基于偏差的算法、基于距离的算法、基于密度的算法等。 第五节 数据挖掘技术概述 基于统计的异常检测 从80年代起，异常检测问题就在统计学领域里得到广泛研究。 通常用户假设给定的数据集服从一个随机分布（如正态分布等），用不一致性测试识别异常。已经开发出许多不一致性测试方法，它们分别适用于不同的情形，如不同的数据分布、数据分布参数是否已知、异常的数目和异常数据类型等。 这些方法的最大缺陷是：在许多情况下，用户并不知道这个数据分布。而且现实数据也往往不符合任何一种理想状态的数学分布。 数 据 库 技 术 主 讲 人：黄 超 管理科学与工程系 E-MAIL : huangchao@seu.edu.cn 数据仓库、联机分析处理与数据挖掘 主要内容 数据仓库概述 数据仓库的结构 数据仓库中的多维数据模型 数据仓库与联机分析处理 数据挖掘技术 第一节 数据仓库概述 从数据库到数据仓库 数据库技术的缺点 数据太多，信息缺乏； 数据缺乏组织性，异构数据难以共享； 数据库的事务处理方式不适合决策分析； 数据仓库技术的起因和用途 数据仓库起源与决策支持系统，主要用于数据分析和决策支持领域。 数据库与数据仓库的区别 表13.1 第一节 数据仓库概述 数据仓库的定义和特点 数据仓库的定义 面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持决策制定过程。 数据仓库的主要特点: 由上述定义中引出的四个特点； 数据量巨大，软硬件要求高； 总的来说，数据仓库面向分析型数据处理，用于支持决策，不同于企业现有的操作型数据库；数据仓库是对多个异构数据源进行的有效集成，并按主题进行重组，数据一般也不再修改，但必须反映数据的历史变化。 第二节 数据仓库的结构 数据仓库 抽取 转换 加载 更新 OLAP引擎 分析 查询 报表 数据挖掘 监测集成 元数据 数据源 前端工具 数据集市 操作数据库 其它数据源 数据存储 OLAP 服务器 数据仓库的体系结构图 第三节 数据仓库中的多维数据模型 多维数据模型 传统数据库的数据模型难以表达数据仓库的语义和结构，数据仓库一般使用多维数据模型； 多维模型将数据看成是数据立方体，由维和事实构成； 维是人们观察事物的特定角度，每一个维用一个表来描述，称为维表，它是对维的详细描述； 事实表示所关注的主题，用事实表来描述，该表主要包含数值数据。 多维数据模型实例 如下页图所示 第三节 数据仓库中的多维数据模型 数据立方体和多维数据模型 日期 产品 国家 sum sum TV VCR PC 1Qtr 2Qtr 3Qtr 4Qtr U.S.A Canada Mexico sum 第三节 数据仓库中的多维数据模型 多维模型的实现1——星型模式（P344） time_key day day_of_the_week month quarter year time location_key street city state_or_province country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch 第三节 数据仓库中的多维数据模型 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key