数据分析系统的应用研究.pdfVIP

维普资讯 数据分析系统响应用研夯 赵雪松：北大青鸟集团商业智能事业部，工程师，北京，10087 摘 要：介绍数据分析的系统结构及功能实现，指出数据仓库技术、联机分析处理 (OLAP) 和建立数据挖掘模型成为数据分析的主要方法，提 出建立铁路数据分析系统的初步设想。 关键词：铁路信息化；数据分析方法；数据层；OLAP；数据挖掘模型 着我 国铁路信 息化建设 的发 它能够较容易地 向业务人员提供一定 件设备，一般都使用0LAP服务器，按 随展，各铁路局在不 同时期 ，基于 范围内灵活的多维分析报表，比传统 照特定需求组建多维立方体来提供多 不同的需求开发并应用的业务系统在 的通过编程来生成报表的方式要快捷 维信息分析。逻辑数据集市设立在数 多年的运行过程 中，积 累了相当数量 得多。而系统的主要问题是，数据访问 据仓库之内，每个数据集市由一些逻辑 的业务数据。这些系统使用着不同的 内容局限于业务处理系统 中的数据 ， 视图组成，逻辑视图是在基础数据之 数据组织形式和操作系统平 台，加上 基础数据都较为粗糙。 上形成的。数据仓库系统结构见图l。 应用不同所造成的数据不一致性 问 1．2 独立的数据集市 2 功能实现 题，在普通 的应用环境中很难将这些 数据集市也称为部 门级数据仓 广泛分布 的数据集 中起来充分利用。 库，一般是针对某个具体部门的业务 2．1 数据仓库的分层 要使这些业务数据能够成为管理和决 需求而设计的。在独立的数据集市 实现数据分析和决策支持 的功 策的依据，对行业业务管理的决策由 中，IT人员针对数据集市需要设计相 能，主要依靠数据仓库、联机分析处 粗放的感性决策提高到基于量化分析 应的ETL处理程序，把各业务信息系 理和数据挖掘三方面的技术。对于许 的科学决策，建立高度集中的数据信 统 中的操作型数据按照需要分别派生 多应用，处理数据库 中存储的大量记 息源，构建信息共享平台，建立较为 到数据集市中，把用于数据分析与决 录需要繁重的磁盘 I／0操作 ，一些数 完备的数据分析模型则成为实现这一 策支持的数据集市与业务处理系统从 据挖掘模型在处理极大量数据的情况 目标的首要任务。 物理上分离。业务人员通过0LAP工 下还存在能力不足的问题 。另一方面 ， 数据仓库技术是较为成熟和广泛 具直接访问数据集市中的信息来生成 由于多维数据空间的稀疏性 ，在低层 采用的解决方案。当前 ，数据分析系 多维报表或者进行其它的信息分析 。 和原始层的数据项之间很难找出有价 统大多采用统计技术、多维分析的方 由于数据集市的业务范围、数据量 、 值的规则，在较高层次发现有价值的 法 。这些分析方法是验证型的技术 ， 软硬件等要求不是很高，所以独立的 规则更有可能提供普遍意义的知识。 还有一些隐藏在数据背后的知识难以 数据集市也可以是一般 的关系型数据 为了更好地实现数据分析功能 ， 发现。数据挖掘是在大量的数据中发 库，按照数据仓库的思想来组织数据。 把数据仓库中的数据分成不同的数据 现潜在的、有价值的模式和数据 问关 1．3 数据仓库 系，结合数据挖掘技术的数据分析应 在数据仓库 用是数据分析发展的必然趋势。 与数据集市的关 口 数据仓库 系上 ，可 以认为 口 日i．oLA!前端工具一 1 系统结构 数据仓库是数据 口