计算机网络与信息系统集成调研报告课案.doc

《计算机网络信息系统集成》课程研究报告 姓 名：阳 涛 学 院：湖北工业大学 班 级：控制工程班 学 号：520130114 时 间：2013年8月12日 基于数据仓库的数据挖掘技术分析研究 摘 要 基于数据仓库的数据挖掘技术是一种对数据仓库中的数据进行深层次的加工和处理的过程,也是一种实现数据仓库决策价值的方法和工具。文中分析了数据仓库、数据挖掘等概念,并结合数据挖掘在实际决策支持系统中的应用,说明了数据挖掘的基本方法、主要过程以及发展方向。 关键词：仓库，储存，数据采集 目 录 摘 要 错误！未定义书签。 目 录 3 引 言 4 1数据仓库及其体系结构 5 2基于数据仓库的数据挖掘技术 6 3数据挖掘在实际决策支持系统中的应用 8 4.结束语 9 参考文献 10 ? 引 言 ??? 随着数据库技术的广泛应用,以及人们对当今社会信息的高层次需求,以事务处理为核心、支持业务操作环境与平台的数据库技术已不能适应人们在分析和决策层次上的需要。为了有效地为企业和政府的管理与决策过程提供重要的信息,需要根据决策的需要收集来自企业内外的有关数据,并加以适当的组织处理,以形成一个综合的面向决策的环境。 1 数据仓库及其体系结构 ??? 20世纪90年代初期,W.H.Inmon在5Building the Data Warehouse6一书中第一次提出了数据仓库(Data Warehouse,简称DW)的概念,并将它定义为:面向主题的、集成的、与时间相关的、稳定的数据集合。所谓面向主题,是指按主题来组织数据,按不同的决策和分析来综合和归并数据;所谓集成,是指将来自不同数据库中的数据进行统一和综合;所谓与时间相关是指可以根据决策的需要不断地添加一些新的数据,删除一些旧的数据;所谓稳定是指集成以后的数据在内容上保持较长时间的不变。 ??? 与传统数据库显著不同的是,数据仓库是一种服务于高层决策的数据库,它不仅采集、组织和存储大量的来自地理位置分散、构造各异的信息源的数据,而且还通过对这些历史数据的加工和变换,得到一系列用于决策分析的数据,利用这些数据可以更好地为用户提供决策支持。其次,数据仓库是一种面向主题的数据库,它按主题来组织数据,按决策和分析的需要来提炼和净化数据。另外,数据仓库是一种包含历史数据的数据库,其中的数据不仅用于检索等基本操作,还用于分析整个组织的运行状态,以及未来的发展趋势。 ??? 构建数据仓库的关键是ETL(Extract,Transform, Loading)技术,即如何准确、安全、可靠地从各种不同的业务数据库中抽取数据,并经转换、清洗以及集成后载入数据仓库。自数据仓库的概念提出以后,世界上不少著名的计算机公司(如IBM,Oracle等)都纷纷对此展开深入的研究,并相继提出各自的研究方案。虽然这些方案各有特色,但基本的框架一般都是通过数据采集和处理工具将各数据源的数据集成并载入数据仓库(如图1所示)。? 图1.数据仓库基本框架图 ??? (1)数据源。可以为普通的业务数据库,也可以是特定的数据文件或其他的数据源。??? (2)数据采集和处理。负责从各数据源中抽取数据,并经转换、集成后载入数据仓库。??? (3)数据仓库。存储两类数据。一类是元数据,它是数据仓库的基本构成单元,主要用于记录数据的结构以及数据仓库的变化;另一类是实视图,它是供决策人员分析处理用的数据。??? (4)应用。主要是服务于决策的在线分析(On-Line Analytical Processing,简称OLAP)和数据挖掘(Data Mining,简称DM)。 ??? 由上述基本框架图可以看出,数据仓库不是一种软件产品,而是一种综合的解决方案。它将原始的数据处理并转换成服务于决策的综合数据,并提供一组功能强大的分析工具对其进行多层次、多方位的分析处理。其次,数据仓库要提供高质量的数据和服务,必须注意数据的一致性、完整性、准确性以及可用性。现有的数据仓库模型未能充分考虑到这一点。通过扩展元数据库的方式,在元数据库中融入质量维度的质量模型,建立系统化的测量和提高数据质量的方法体系,可以较好地解决数据仓库的质量问题。 2 基于数据仓库的数据挖掘技术 ??? 构建数据仓库的最终目标是为了从各类海量数据中提取出对有关决策和管理活动具有重要指导意义的规律性知识。但是,由于各类数据是分散于若干业务数据库或其他数据源中,因此,要得到对各类决策分析有用的知识,必须具有相应的从海量数据中提取价值信息的工具。数据挖掘就是用来挖掘价值信息的工具。 ??? 数据挖掘这一概念是由G.Piatetsky-Shapior,W.J.Frawley等人在1989年8月召开的第11届国际人工智能学术会议上提出的。它是数据库技术和人工智能、数理统计