数据分析与挖掘-数据仓库技术论文.docVIP

数据分析与挖掘-数据仓库技术 摘　要　本文介绍了数据仓库与数据挖掘的相关知识，主要包含了数据仓库的概念，数据仓库的概念模型，数据仓库的结构组成以及数据仓库与数据挖掘的应用。 关键词：数据挖掘; 数据库; 数据仓库; 决策分析 引言 近年来，数据挖掘引起了信息产业界和整个社会的极大关注，其主要原因是存在可以广泛应用的大量数据，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛应用于各种应用，包括市场分析、欺诈检测、顾客保有、产品控制和科学探索等。 数据仓库技术的出现是由于决策支持系统发展的需要。它的提出是以关系数据库、并行处理、分布式技术以及INTERNET的飞速发展为基础,它是解决如何利用分散的异构环境数据源,及时得到准确的信息,解决信息技术(IT)在发展中一方面拥有大量数据,另一方面有用信息却很贫乏这种不正常现象的综合解决方案。数据仓库的建立并不是要替代数据库,它是建立在一个比较全面和完善的信息应用基础之上的,用于支持高层决策的分析。而数据挖掘是为寻找未知的模式或趋势在数据仓库的细节数据中进行搜索的过程。它并不是让查询语言去找某些特定的事实,而是查看所有的事实,寻找具有某种含义深长的模式或关系来进行决策。 数据仓库的概念 数据仓库的建立为行业高层主管们系统的组织、理解和使用他们的数据进行战略决策提供了体系结构和工具。在当今充满竞争和快速发展的世界，数据仓库系统是一种有价值的工具。在过去的几年中，许多公司花费数百万美元建立企业范围的数据仓库。许多人感到，随着工业竞争的加剧，数据仓库成了必备的最新营销武器—一种通过更多的了解客户需求而留住客户的途径。 数据仓库已被多种方式定义，很难给出一种严格的定义。不严格的讲，数据仓库是一个数据库，它与组织机构的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。 按照一位数据仓库系统构造方面的领头设计师Willianm H.Inmon的说法，数据仓库是一个面向主题的、集成的、时变的和非易失的数据集合，支持管理部门的决策过程。这个简短而又全面的定义指出了数据仓库的主要特征。四个关键词，面向主题的、集成的、时变的、非易失的，讲数据仓库与其他数据存储系统相区别。 （1）面向主题性 主题：是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑上，它对应于企业中某一宏观分析领域所涉及的分析对象。 面向主题的数据组织方式可在较高层次上对分析对象的数据给出完整、一致的描述，能完整、统一的刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系，从而适应企业各个部门的业务活动特点和企业数据的动态特征，从根本上实现数据与应用的分离。 （2）集成性 数据仓库中的数据是从原有分散的源数据库中提取出来的，其每一个主题所对应的源数据在原有的数据库中有许多冗余和不一致，且与不同的应用逻辑相关。为了创建一个有效的主题域，必须将这些来自不同数据源的数据集成起来，使之遵循统一的编码规则。因此，数据仓库在提取数据时必须经过数据集成，消除源数据中的矛盾，并进行数据综合和计算。经过数据集成后，数据仓库所提供的信息比数据库提供的信息更概括、更本质。 （3）时变性 时变性：许多商业分析要求对发展趋势做出预测，对发展趋势的分析需要访问历史数据。因此数据仓库必须不断捕捉OLTP数据库中变化的数据，生成数据库的快照，经集成后增加到数据仓库中去；另外数据仓库还需要随时间的变化删去过期的、对分析没有帮助的数据，并且还需要按规定的时间段增加综合数据。 （4）非易失性 数据仓库中的数据反映的是一段时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于撰写快照进行统计、综合和重组的导出数据，而不是联机处理的数据。主要供企业高层决策分析之用，所涉及的数据操作主要是查询，一般情况下并不进行修改操作，即数据仓库中的数据是不可实时更新的，仅当超过规定的存储期限，才将其从数据仓库中删除，提取新的数据经集成后输入数据仓库 概言之，数据仓库是语义上一致的数据存储，它充当决策支持数据模型的物理实现，并存放企业战略决策所需要的信息。数据仓库也常常看作一种体系结构，通过将异构数据源中的数据集成在一起而构造，支持结构化和专门的查询、分析报告和决策制定。 数据仓库的概念模型 2.1常见的概念模型 1.星形模型 （1）事实表。事实表是星形模型的中心，它包含有大量的数据，具有较小的冗余度，它往往用于描述数据仓库用户最为关心的事物。一般情况下，事实表中的数据只做追加，而不进行修改。 （2）维度表。维度表是事实表的附属表，一个事实表一般用有一组维度表，每个维度表都通过主键与事实表相连，维度表之间通过事实表的中介而相互建立联系。 2.雪花模型 星形模型对客