火龙果数据仓库和数据挖掘介绍.ppt

数据仓库和数据挖掘 * 层次聚类算法 x3 x1 x2 x4 x7 x5 x6 x4,x7 x4,x5,x7 x1,x3 x4,x5,x6,x7 x1,x2,x3 x1,x2,x3,x4,x5,x6,x7 第一层 第二层 第三层 第四层 第五层 第六层 第七层 数据仓库和数据挖掘 * 关联规则挖掘 关联规则挖掘是一个两步的过程： 找出所有频繁项集 由频繁项集产生强关联规则，这些规则必须大于或者等于最小支持度和最小置信度 买尿布的客户 二者都买的客户 买啤酒的客户 购物篮分析举例 买啤酒＝买尿布是否为强关联规则？ 数据仓库和数据挖掘 * 关联规则挖掘举例 对于规则 A?C： 支持度 = support({A,C}) = 50% 置信度 = support({A,C})/support({A}) = 66.6% 假设最小值支持度为50%，最小可信度为50% 规则A?C满足最小支持度和最小置信度，所以它是强关联规则 数据仓库和数据挖掘 * 数据爆炸，怎么办？ 如何才能不被数据淹没，从中及时发现有用的知识、从而制定正确决策？ 面对这一挑战，数据挖掘和知识发现(Data Mining and Knowledge Discovery)技术应运而生，并显示出强大的生命力 数据仓库和数据挖掘 * 数据挖掘 可怕的数据 有价值的知识 数据库越来越大 利用数据挖掘得到有价值的知识 数据仓库和数据挖掘 * 数据挖掘的定义 数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程 数据仓库和数据挖掘 * 数据挖掘 数据库技术 统计学 高性能计算 人工智能 机器学习 可视化 数据挖掘是多学科的产物 数据仓库和数据挖掘 * 源 目标 数据 模式 数据 数据集成 数据选择 预处理 后数据 数据挖掘 结果解释 准备 挖掘 知识 表达 解释 数据 知识发现的基本步骤 数据仓库和数据挖掘 * 数据挖掘的发展过程 1989年8月于美国底特律市召开了第一届知识发现(KDD)国际学术会议，首次提出知识发现的概念 1995年在加拿大召开了第一届知识发现和数据挖掘(DM)国际学术会议，首次提出数据挖掘的概念 数据仓库和数据挖掘 * 数据挖掘的发展过程 1999年ACM-SIGKDD组织了第五届知识发现与数据挖掘国际学术会议 IEEE计算机学会自2001年起每年组织自己的数据挖掘会议——数据挖掘学术会议(ICDM) 其他国际或地区性数据挖掘会议，如亚太知识发现与数据挖掘会议(PAKDD) 数据仓库和数据挖掘 * 丰富的数据挖掘算法 分类算法 聚类算法 统计分析 关联规则挖掘 序列模式挖掘 数据仓库和数据挖掘 * 数据挖掘的应用领域 电信 ：客户流失 百货公司/超市：购物篮分析 保险：交叉销售，流失 信用卡： 欺诈探测 电子商务： 网站日志分析，个性化服务 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健，病症原因分析 数据仓库和数据挖掘 * 数据挖掘在各领域的应用比例 数据仓库和数据挖掘 * 数据挖掘应用实例 全球最大的零售商沃尔玛(Walmart) 啤酒与尿布销售额上涨了30％ 英国电信通过直邮方式向客户推荐新产品 使回应率提高了100％ 汇丰银行分类客户群，对每种产品找出最有价值的客户 营销费用减少了30％ 数据仓库和数据挖掘 * 数据挖掘系统——CBA 能从关系数 据或者交易 数据中挖掘 关联规则， 使用关联规 则进行分类 和预测 数据仓库和数据挖掘 * 数据挖掘系统——DBMiner 与数据库管 理系统集成 ，通过数据 库查询语言 对大数据集 或者复杂数 据集进行挖 掘操作 数据仓库和数据挖掘 * 数据库挖掘系统——SPSS Clementine 以PMML的格式提供与预测模型系统的接口 数据仓库和数据挖掘 * 数据挖掘的发展趋势 可视化数据挖掘 多媒体数据挖掘 Web数据挖掘 数据挖掘中的隐私与信息安全 数据仓库和数据挖掘 * 数据仓库与数据挖掘的关系 数据仓库系统的数据可以作为数据挖掘的数据源 数据挖掘的数据源不一定必须是数据仓库系统 数据仓库和数据挖掘 * 本次课程所讲内容 课程注意事项 教学内容安排 数据仓库与数据挖掘概述 课程小结 数据仓库和数据挖掘 * 课程小结 课程注意事项 课时分配，课程考核方式，教学服务器，教材，工具 教学内容安排 本门课程所要讲述的知识版块 数据仓库与数据挖掘概述 数据仓库的产生，发展，定义 数据挖掘的定义，基本步骤，算法，应用领域，系统，发展趋势等 数据仓库和数据挖掘 * * Thanks! 数据仓库和数据挖掘 * 分类的过程 获取数据 预处理 分类器设计 分类决策 数据仓库和数据挖掘 * 分类的过程 获取