商务智能架构中数据采集平台.docVIP

商务智能架构中数据采集平台摘要 企业实施商务智能项目时，数据采集和集成是通常遇到的问题。在商务智能体系架构中增加一层数据采集平台，作为核心业务应用组合系统架构中的重要补充来源，解决企业快速获取外部来源数据的问题，以保证企业数据资产完整性和信息充分有效性，实现商务智能支撑企业决策的要求。 关键词 数据采集；商务智能；系统架构 中图分类号TP39 文献标识码A 文章编号 1674-6708（2012）73-0218-02 1 关于商务智能 商务智能（Business Intelligence, BI）是企业利用数据仓库（DW）、数据挖掘（DM）、在线分析处理（OLAP）和决策支持系统（DSS）等现代信息技术对企业经营过程中产生的大量结构化和非结构化业务数据和信息进行收集、整理、分析，以便辅助企业做出争取决策，采取有效战术行动，优化业务流程，全面提升企业绩效的工具、方法和技术的统称。借助商务智能这一手段，企业可以在市场日益变化，竞争愈加激烈，组织结构复杂，企业规模快速扩张庞大的商业环境之下，保持高效运营、正确决策、快速响应，实现企业从数据到信息、从信息到知识、从知识到利润的转化。 2 商务智能数据采集的问题 企业实施商务智能项目时，数据的采集和集成是通常遇到的问题。由于实施过程一般分阶段分梯度进行，因此企业BI始终要面对业务流程随市场环境趋势不断变化的现状，系统架构始终处于不断补充扩大的过程。 在企业内部随着信息化的历史变迁，从部门级应用，到各公司独立应用，再到企业一体化应用，企业使用不同厂商、不同版本的各种管理软件。如果说这种系统应用的广度已经使人头痛，更头痛的是集团型企业各种信息系统的集成问题。如从数据集成到应用系统集成，再到集团型企业所面临的人员集成、信息集成、流程集成、应用平台集成等方面，涉及面越来越多，集成重点也愈来愈从技术走向业务系统。 与此同时，行业市场激烈的竞争环境，迫使企业不得不在应用系统逐步整合集中的进程中，同步进行大规模的企业范围内的数据整合，以BI作为企业战略重要支撑。那么企业BI必然率先解决数据驱动的根本，即解决数据的获取、转换和整合等问题。 3 数据采集平台作为商务智能架构补充 目前，全球各大软件厂商提供的商务智能解决方案均是将业务应用的操作型关系数据库作为商务智能数据仓库或集市的ETL数据源，这种解决方案旨在将业务流程和操作与业务分析和查询分离，应用组合各司其职合理架构。因此，市面上大部分BI产品本身只对数据仓库或集市或OLAP进行单向提取和展现操作，也就是“只读”的操作，展现层不提供大量和频繁的数据写操作。试想一旦BI产品具备数据写处理，BI的产品定位和架构界限划分将变得模糊不清，在实际应用中也难免出现业务需求匹配解决方案时的定位混淆问题。即使市面上有少数BI产品具备访问权限可控的“回写、转存”功能，启用功能时势必要谨慎考虑对数据仓库或OLAP多维分析的数据更新频率和重构立方体的工作量问题，事实上这类BI产品的“写处理”能力非常局限，一般仅处理单表中度量型或备注型的字段更新，也不具备工作流和规则引擎等基本流程控制功能。 笔者提出，在商务智能体系架构中增加构建一层数据采集平台，作为核心业务应用组合架构中的重要补充来源，从而解决企业快速获取非系统性数据来源或外部来源数据导入系统的问题，以保证企业数据资产完整性以及信息充分有效性，实现商务智能支撑企业决策的要求。 4 数据采集平台的解决方案 数据采集情况复杂，方式种类繁多。较为常见的情况是业务应用系统之间跨多数据库，结构化、半结构化和非结构化的数据源，以及手工填报录入和导入源文件等。简单的采集方式可以是网页手工录入数据，扫描条形码，自动化定时数据抽取，修正或者补录过程等方式，最终是为数据存储或数据分析提供基础内容。可见无论何种情况方式，数据采集都包括了数据源收集、识别、选取和存储等环节，是一个从目标处理到完成输入输出的复杂过程。 4.1 数据采集平台架构 商务智能的数据采集平台包括对业务数据、协同数据、公用资源以及公司各级下属单位或部门的数据进行采集。数据采集工作主要通过数据采集适配器、网页在线数据填报、客户端数据上报、以及后台批量数据导入等方式，迅速地从生产数据库、文件系统采集到数据，存储到采集数据库及文件系统，并尽量降低给生产数据库带来的影响。 数据采集平台要求数据的准确一致、格式符合BI分析使用，因此设计了数据上报和审核的业务流程，系统层次结构和流程设计如下： 审批层：由具体填报人员以网页在线填报或客户端填报方式，将数据录入填报系统中（系统自动将数据标示为状态写为提交）。 填报层：各分支结构审核人员将在系统中对数据审核（系统中只显示待审核数据），如数据符合要求则通过审核（系统将标志