OLAP在烟叶收购数据中的应用要点解析.docVIP

OLAP在烟叶收购数据分析中的应用 概述 目前，烟叶收购流程中的关键业务已经完成的信息化处理，有力促进了业务流程规范会、标准化，通过无处不在的网络，企业及时获知收购实时数据成为可能。烟叶收购过程中，产生的大量事务性数据源源不断存储到信息系统中，作为企业决策人员或领导者而言，他们更关注这些事务性的原始数据经过分析得到更多蕴含的信息和规律，把原始数据通过变换得到辅助战略决策角度的信息，如变化曲线、趋势等等。 我们将用于收购业务的关系数据库系统称为联机事务处理系统（下称OLTP），它专注于处理生产收购事务，OLTP为我们提供了一些分组聚合查询的功能，获得这些分析过的数据可以通过采用一系列分组、汇总、密集计算而得到，但是，随着数据量增大，这种分析过程的缺陷也日益突出。从计算的角度出发，没有经过优化的密集计算总是产生令人难以忍受的性能问题，从需求的角度出发，面对决策者日益复杂的需求，没有很好的模型适应，系统开发商在数据分析方面也显得力不从心，疲于奔命，花费大量时间和精力来构建和修改分析系统。 那么如何缓解这些缺陷和问题，OLAP（On Line Analysis Processing联机分析处理）为我们提供了一种较好的解决办法。传统地，信息系统中大多数事务性处理过程，用关系数据库系统就可以很好地进行建模和处理，但是关系型数据库却不能很好胜任数据分析应用，OLAP的核心思想就是利用另外一种称之为“数据立方体”的模型来归纳大部分数据分析应用，把事务数据经过预处理，变换到数据立方体模型中，然后根据决策者的需要，提供多个不同视角观察数据的功能，而且，这种数据处理是在线的，虽然它也摆脱不了密集运算和密集IO的特点，但经过优化设计并不会OLTP应用产生巨大影响，并且完全可以做到应决策者要求“准实时分析”，更重要的是，OLAP所采用的模型可以为决策者提供清晰直观的认识，并且能很好应付决策者复杂而苛刻的需求。 笔者从技术和试验角度对OLAP在烟叶收购数据分析中的应用作了探讨，鉴于知识浅薄，不足之处敬请批评指正。 一、当前烟叶收购数据分析现状 烟叶收购数据分析历来作为掌握烟叶收购形势、指导决策的重要手段，在推广的若干烟叶收购系统中都有实现。2009年国家局一系列政策出台，加强对烟叶生产收购环节的管理和监管，而监管最有效的方式莫过于对收购业务系统积累的原始数据进行分析处理。因此收购数据分析得到很大重视，从烟叶收购业务产生的海量数据中找出异常、分析掌握总体收购形势，成为行业和软件开发商面临亟待解决的问题。虽然数据分析功能取得了长足进展，在2009年烟叶收购过程中，为监管部门发现异常数据、领导班子决策提供了有力的数据支持，但烟叶收购数据分析仍存在许多不足。 1.报表定义不够严格 以“云南烟叶生产管理拓展应用（国家局试点）”（以下简称海晟系统）为例，所含各类报表总计达30个之多，观点包含比较全面，但因缺乏有效的模型，报表的组织比较凌乱。部分报表命名不能反映报表的内容，如一些采用“综合报表”等含糊字眼命名的报表，“【201】收购业务进度表（小等级、本期、累计、同期比）”和“【102】收购全等级进度表（小等级、本期、累计、均价、同期比）”两个报表虽然从字面理解比较相似，但报表内容细节程度却有所不同（如图）。 图表 1报表102的内容 图表 2报表201的内容 决策者除了关心报表的数据，还需花费时间来理解报表的结构内容，查询界面稍显复杂，不够友好。 2.查询性能较低 数据分析是一项大量密集运算操作，需要占用大量的处理器时间和IO资源。特别是IO瓶颈制约。正因为OLTP也需要占用宝贵的IO资源来存取业务数据，因此数据分析时对IO资源的占用也会影响到业务系统的性能。 3.不能较好支持数据挖掘等更多深度分析技术 由于没有抽象的模型支撑，未来面向数据仓库的应用难以得到较好的支持。面对企业日益深层次多变的需求，企业和软件开发商可能面临重新规划开发、增大开发成本的风险。系统效益受到明显削弱。 4.维护管理复杂困难 由于数据库缺乏良好的设计，数据约束不足，数据的一致性、合法性存在风险，传统的聚合分组查询可能因数据结构设计问题而使结果产生偏差，偏差无法量化，也难以用数学理论证明。另外，传统的数据分析需要大量的开发时间，且因为数据结构和程序语句高度耦合，更改设计困难，维护管理复杂，常因性能、错误等问题导致系统崩溃。 二、什么是OLAP OLAP，On Line Analysis Processing，联机分析处理。这个概念最早是由关系数据库之父E.F.Codd于1993年提出的。 随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表