数据仓库在商情价格系统中的应用.docVIP

数据仓库在商情价格系统中的应用 周小军 （长岭信息技术管理中心） 通过使用数据仓库技术作为基础，使用在线分析处理技术作为应用，为用户提供油品各时间段平均价格查询，辅助商业人士对油品价格进行分析预测，为油品的生产销售提供决策支持。 主题词: 决策支持系统 数据仓库 在线分析处理 ADO ADOMD ASP 数据仓库简介 数据仓库作为决策支持系统的基础，具有面向主题、集成、非易失且随时间变化的特点。决策支持系统以在线分析处理和数据采掘方式从数据仓库获取数据进行决策分析和发现知识。 传统的事务型系统是处理公司日常的数据，而数据仓库是针对数据模型中的主题领域的，例如：顾客、产品、活动。数据仓库的集成性是指当数据由多个事务型系统装入数据仓库时，要采用抽取、清除、转换等方法来消除应用中的不一致性。例如，应在数据仓库中统一编码。此外，它的非易失性是指数据仓库中的数据通过事务型数据进行聚集，不通过自身数据进行更新。最后，数据随时间变化的特性表现在：①数据仓库中保存的是长期的若干年的历史数据，而事务型系统中保存的一般是一年以内的数据。②事务型系统含有某一时刻的精确数据，而数据仓库中的数据则是一系列事务数据生成的复杂的快照。③事务数据的结构不一定包含年、月、日等时间元素，而数据仓库的结构总是包含时间元素。 需求概述 商情信息在炼化企业进行市场决策和生产安排中起着至关重要的作用，分析人员根据产品当前价格与过去某一时间段的平均价格作比较，来预测未来价格。具体来说，分析人员需要对比产品上周均价、本周均价和最近三天的价格，还要对比上月均价、本月均价和最近一个月的价格，以及查看油品每月均价、上年均价和本年均价。基于这样的需求，我使用数据仓库和在线分析处理技术，对事务数据进行高粒度的聚合，实现了均价查询。 数据仓库在设计阶段应明确其主题，主题概括了一个分析领域，具体来说就是决策所要解决的问题，而且主题必须建立在事务型数据之上，否则设计的数据仓库将没有数据源用作存储。商情价格系统的主题就是油品在某一天的价格，具体包括：原油在某一天的国际市场价格和相应的完税价，油品在某一天的出厂价格，油品在某一天的市场价格和相应的完税价。 在确定主题后需要设计数据粒度和数据分割。粒度是指数据仓库数据存储时的细化或综合程度的级别，它不但决定了存放数据量的大小，同时也影响数据仓库所能响应的查询数量。细化程度越低，粒度级就越大，只要少量的字节和索引就可以存放数据，但是，由于细化程度低，所能回答查询的能力就会降低。所以，几乎每个机构都采用多粒度级而非单一粒度级，多重粒度级既能减少存储，又能有效地回答任何能够回答的问题。商情价格系统的粒度级包括事务型细节数据（即油品在某一天的价格）和高粒度聚合型数据（即油品在某周、某月及某年的平均价格）。 ?数据分割是指把数据分散到较小的物理单元中去，使得它们能被独立地处理的数据组织方式。较小的物理单元能为操作者在管理数据时提供更大的灵活性，例如更易重构索引、更易监控等。由于数据仓库结构总是包含时间元素，所以按日期进行分割成为一种必然选择。分割可以在系统层次和应用层次上进行，系统层次是指某些数据仓库系统和操作系统能够提供数据分割功能，应用层次是指通过应用程序代码完成数据分割功能，它的特点是能从一个数据处理集合转移到另一个数据处理集合而没有数据损失。商情价格系统使用月份作为标准在应用层次分割数据。 在确定了以上问题后，需要根据主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据模型，原则是保证数据仓库的规范化和事实维度间的必要联系。商情价格系统使用SQL SERVER Analysis Manager集成环境建立了shsq多维数据集，它以每日价格表作为事实表，以产品表、厂家表、地区表、价格类型表、计量单位表和时间表作为维度表，是相应的星型模型。 图1 相应的星型模型图 在确定数据仓库结构后，要制定数据抽取方案，具体包括：各主题所在的数据源，数据源种类（如数据库、文本文件等），是否需要进行清理、转换、组织加工，数据转换成怎样的统一中间格式，装载到数据仓库的哪个立方体中，多长时间对数据源进行一次抽取，多长时间对数据仓库进行一次更新等。商情价格系统采用相同的频率（即每30分钟）对数据源进行抽取和对数据仓库进行更新。 在线分析处理应用设计 在数据仓库建立后，还要在此基础上建立应用，才能使用其中的数据进行分析决策。在线分析处理应用就是这样一种应用，它通过OLAP服务访问数据仓库，微软公司的SQL SERVER所包含的Analysis Server就提供了这种服务。 在具体实现中，商情价格系统使用Visual Basic集成开发环境建立了CubeData组件，它封装了调用ADOMD组件、通过OLAP服务访问数据仓库的逻辑，使得系统