钢铁企业基于数据仓库运营分析平台设计及开发.docVIP

钢铁企业基于数据仓库运营分析平台设计及开发 　　摘 要 数据仓库系统可用于企业决策分析，利用数据仓库、数据挖掘技术对业务数据进行系统地储存和管理，并通过数据统计分析工具实现对客户数据的统计分析。本文阐述了某钢铁企业（以下简称公司）利用已积累在业务信息系统中的海量数据，结合管理者及统计分析人员对系统的需求，建立企业运营分析平台的过程。 　　【关键词】OLAP 数据仓库 数据建模 数据转换 商务智能 　　随着计算机技术的快速发展及企业信息化进程的深度推进，如何利用信息系统累积的业务数据，从中提取有价值的信息成为了企业信息化深度应用的研究热点，通过搜集、管理和分析商业信息，可以形成决策参考，为企业各级决策者服务，使得企业经营管理更加有依据性，为企业经营管理提供更加快捷、高效、精确的决策分析。 　　目前商业智能已经被很多行业所采用，在大数据呈指数增长且日益成为企业决策依据的战略背景下，商务智能的需求开始越来越广泛，商业智能通过将数据建模、数据挖掘、数据清洗等技术，建立联机分析处理（OLAP）系统，从而辅助企业经营决策。公司以业务信息系统数据为基础，利用数据仓库技术，建立起企业运营分析平台，进一步发挥业务数据价值，为企业管理这和统计分析人员提供了有益的决策参考。 　　1 背景 　　2014年以来，公司对信息系统架构进行了改良性设计，并配套完成相关系统改造，建立起对接智能制造的全新信息系统五级架构，公司在企业资源计划管理、全流程质量设计、全局计划排程、全过程质量管理等方面取得了跨越式发展，公司借助全新信息系统架构支撑，加快了市场响应速度，提高了客户满意度。 　　在各个信息系统应用过程中中逐渐积累起海量的与生产经营相关的过程数据，在企业的经营决策管理的过程中，如何通过对这些海量数据的利用，使之转换为有价值的运营统计分析，真正为企业决策管理提供依据和参考，只有这样，信息化应用的效价值才能得到真正体现。这也是领导决策者和相关业务部门的迫切需求。 　　2 目标 　　利用数据仓库、数据挖掘技术，构建企业级运营分析平台，集成公司的项目，采购，库存，成本，财务，人力资源，销售以其他第三方系统数据。利用各相关系统的业务数据，并对数据进行整合，建立起为面向企业运营业务的关键绩效指标体系，从而实现面向多维度、及多层级的关键绩效价值数据分析统计展示。为公司提供一个规范化、透明化、价值化的公司KPI体系分析。 　　3 系统功能 　　功能包括采购管理、设备管理、销售管理、财务管理、人力资源管理等5部分内容。其中采购管理主要包括公司采购量价趋势分析，采购情况分析，日常库存管理，生产领用与消耗分析，进销存资金占用分析等分析主题；销售管理包括销售情况分析、资金占用情况、营销日报；设备管理主要包括主要包括设备点检绩效、设备档案分析、设备试验检验分析、设备采购资金统计、计划合同分析、合同综合分析、设备维修费用分析、消耗统计分析、设备库存积压分析、设备库存分析；财务管理包括库存分析、资产负债情况、现金流量分析、总账、资产费用、成本分析；人力资源管理包括人员情况分析、薪酬保险统计等。 　　4 平台搭建 　　4.1 平台架构 　　平台总体架构包括数据获取、数据存储、数据展示三部分，如图1所示： 　　4.1.1 数据获取 　　数据获取，包括数据的抽取、转换及加载，数据抽取、转换及加载的作用是在运营分析平台与作为数据源的ERP系统、MES系统、设备在线诊断系统、设备点检系统间，搭建一座桥梁，使以上系统中新发生的业务数据，以预先设计好的数据传送方式，加载至数据存储介质中。由于数据源系统中的所属数据来源不同、数据格式不同、需获取的业务数据需遵循抽取规则约束、转换逻辑控制、加载条件限定才能进入数据仓库系统。 　　4.1.2 数据存储 　　数据存储包括数据抽取准备区PSA（Persistent Data Staging），主要用于完成对从数据源抽取过来的明细级的数据进行存储，数据仓库系统为每个数据源自动生成结构相同的PSA二维表，其中的数据结构与数据源系统的数据结构完全对应，一般不对其中数据不进行逻辑转换。利用定义好的信息包（Infor Package）并建立触发规则，完成?稻荽邮?据源到数据仓库中PSA的数据抽取；运营数据存储ODS（Operation Data Storage），主要用于存储经过转换后的明细级的数据，并用于生产经营业务的统计分析；同时，ODS也是实现数据集成，围绕特定主体，可实现特定主题的日常决策分析 。运营数据存储对数据时效性要求比较高，数据往来频率较高，其中的数据是通过数据传输过程DTP（Data Transfer Process）完成数据的转换及加载，在执行数据加载时，将通过实际业务需求，对数据进行逻辑转换处理；企业数据仓库包括