数据仓库与数据挖掘.ppt

教学方式与考核方式 教学方式 本课程以课堂教学为主，以电子教案的内容为主线 课外阅读指定的参考文献并利用网上资源，加深对教学内容的理解。 考核方式及要求 1、平时： 点名+一篇报告（以数据挖掘为关键字查询论文，至少选读8篇，写读书报告或文献综述） 2、上机实验报告 3、期末课堂考试（开卷） 企业面临的问题 经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录 由于缺乏集中存储和管理，这些数据不能为本企业加以利用, 不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息 数据爆炸问题 自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中 。 我们会淹死在数据中, 但却为信息、知识所饿! 面临的挑战 如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？ 如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？ 如何预先发现和避免企业运作过程中不易察觉的商业风险？ * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 数据挖掘逐渐演变的过程 最近人们却逐渐开始使用数据挖掘中有许多工作可以由统计方法来完成，并认为最好的策略是将统计方法与数据挖掘有机的结合起来。 数据仓库技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息。 数据挖掘应用前景看好 - 电信(客户流失、欺诈甄别) - 零售(销售预测；成本控制) - 农业(行业数据预测) - 电子商务（商品推荐；个性化网页等） - 银行(建立利润评测模型；客户关系优化；风险控制等) - 生物制药(DNA序列查询与匹配；识别基因序列的共发性) - 保险…… 数据挖掘解决的典型问题 数据库营销(Database Marketing) 客户群体划分(Customer Segmentation Classification) 背景分析(Profile Analysis) 交叉销售(Cross-selling) 客户流失性分析(Churn Analysis) 客户信用记分(Credit Scoring) 欺诈发现(Fraud Detection) …… 国内应用存在的问题 数据积累不充分、不全面 业务模型构建困难 缺少有经验的实施者 数据挖掘未来发展 与数据仓库系统集成 与预言模型系统集成 挖掘各种复杂类型的数据 与应用相结合 研制和开发数据挖掘标准 支持移动环境 6、数据挖掘简介 数据挖掘的概念 数据挖掘是从大量数据中提取或挖掘知识。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 什么是数据挖掘 例子 “买尿布的客户中，80%买了啤酒！！” 发生在美国大型超市WalMart的实例。 周四，消费者通常同时购买尿布和啤酒 出乎意料的信息，但对商店有用 原因？ 数据挖掘的潜在应用 数据库查询与数据挖掘间的工具比较 查询工具 - 查询所要访问对象是否在某一特定位置。 -“照亮”感兴趣的数据 - 主动的、不生成严格的结果和不同层次的挖掘 挖掘工具 - 缩小范围、提高敏感度、针对动态变化。 - 趋势、模式。 - 被动的、只对字段进行严格的查询。 数据挖掘的特点 从实际海量数据源中发现知识。完整性、一致性、正确性难以保证。 -处理数据规模十分庞大 -适于寻找感兴趣的内容 -对数据的变化能快速响应 -发现潜在规则、不断更新规则 -基于一定的阈值，使用相应的规则 数据挖掘与传统分析方法的区别 数据挖掘与传统的数据分析（如查询、报表、联机应用分析）的本质区别是 - 数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先知、有效和可实用三个特征。 - 先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。 数据挖掘研究的内容 随着DMKD研究逐步走向深入，数据挖掘和知识发现的研究已经形成了三根强大的技术支柱：数据库、