数据仓库与数据挖掘课件1.pptVIP

（5）数据仓库的数据量很大 大型DW是一个TB（1000GB）级数据库问题（一般为10GB级相当于一般数据库100MB的100倍） （6）数据仓库软、硬件要求较高 需要一个巨大的硬件平台 需要一个并行的数据库系统 1.2数据挖掘的兴起 1.2.1 从机器学习到数据挖掘 1.2.2 数据挖掘含义 1.2.3 数据挖掘与OLAP的比较 1.2.4 数据挖掘与统计学 1.2.1 从机器学习到数据挖掘 学习是人类具有的智能行为，主要在于获取知识。 机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。 机器学习是人工智能领域中的重要研究方向。 20世纪60年代开始了机器学习的研究。 (1) 1980年在美国召开了第一届国际机器学习研讨会； 明确了机器学习是人工智能的重要研究方向 (2) 1989年8月于美国底特律市召开的第一届知识发现（KDD）国 际学术会议； 首次提出知识发现概念 (3) 1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议； 首次提出数据挖掘概念 (4) 我国于1987年召开了第一届全国机器学习研讨会。 1.2.2数据挖掘含义 知识发现（KDD）：从数据中发现有用知识的整个过程。 数据挖掘（DM） ：KDD过程中的一个特定步骤，它用专门算 法从数据中抽取知识。 如在人类数据库中挖掘知识为： （头发=黑色）∨（眼睛=黑色）→亚洲人 该知识覆盖了所有亚州人的记录。 1.2.3数据挖掘与OLAP的比较 1. OLAP的多维分析 OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。 2. 数据挖掘 数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。 1.2.4 数据挖掘与统计学 统计学与国家政治有紧密的关系。 支配着社会现象的法则和方法是概率论。 通过对全部对象（总体）进行调查，为制定计划和决策提供依据。 统计学中应用于数据挖掘的内容 （1）常用统计 （2）相关分析 （3）回归分析 （4）假设检验 （5）聚类分析 （6）判别分析 (7) 主成份分析 统计学与数据挖掘的比较 统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。 数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。 统计学与数据挖掘是有区别的。但是，它们之间是相互补充的。 1.3 数据仓库和数据挖掘的结合 1.3.1 数据仓库和数据挖掘的区别与联系 1.3.2 基于数据仓库的决策支持系统 1.3.3数据仓库与商业智能 1.3.1 数据仓库和数据挖掘的区别与联系 1. 数据仓库与数据挖掘的区别 2.数据仓库与数据挖掘的关系 3.数据仓库中数据存储特点 4.数据仓库中数据挖掘特点 1. 数据仓库与数据挖掘的区别 数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信息。 数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。 2.数据仓库与数据挖掘的关系 数据仓库与数据挖掘都是决策支持新技术。但它们有着完全不同的辅助决策方式。 在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。 数据挖掘用于数据仓库实现决策支持： （1）预测客户购买倾向； （2）客户利润贡献度分析； （3）分析欺诈行为； （4）销售渠道优化分析等。 数据仓库和数据挖掘的结合对支持决策会起更大的作用。 3.数据仓库中数据存储特点 由于数据仓库不同于数据库，数据挖掘也随之发生变化。 （1）数据存储方式的不同 （2）数据存储的数据量的不同 （3）数据存储的结构不同 4.数据仓库中数据挖掘特点 （1）数据挖掘从数据仓库中挖掘更深层次的信息 （2）数据仓库为数据挖掘提出了新要求 ①数据挖掘需要可扩展性 ②数据挖掘方法需要能挖掘多维知识 1.3.2 基于数据仓库的决策支持系统 数据仓库的决策支持功能有： (1) 对当前和历史数据完成查询和报表处理 (2) 可以用不同方法进行“如果，将怎样 （what-if）”分析 (3) 从综合数据到细节数据，深入追踪钻取查 询，寻找问题出现原因 (4) 认清过去的发展趋势，并将其应用于对未 来结果的分析 数据仓库中有大量的综合数据，为决策者提供了综合信息