ETL在超市大数据量中的应用研究.pdfVIP

2013年第11期 文章编号：1009—2552(2013)11—0117—04 中图分类号：TP311 文献标识码：A ETL在超市大数据量 中的应用研究 夏 魏 ，邵 清 (上海理工大学光电信息与计算机工程学院，上海200093) 摘 要：数据抽取、转换和装载 (Extract，Transformandloading，简称ETL)是数据仓库、数据 挖掘以及商业智能等技术的基石。文中首先简单介绍了ETL概念及其意义，然后设计和开发了 应用于超市行业商业智能的ETL程序，已在超市行业管理信息与决策支持系统中得到应用。 关键词：ETL；数据仓库；BI TheETL application ofsupermarketlargeamountofdata XIAWei．SHA0Qing (SchoolofOptoelectronicInformationandComputerEngineering，UniversityofShangh~for ScienceandTechnology，Shanghai200093，China) Abstract：Dataextraction，transformationandloading(Extract，Transformnadloading，ETL)isthe eomerstoneofdatawarehousing，dataminingandbusiness intelligence technology．Thisarticle first introducesthe ETL conceptand its significance briefly，and then designsand developsthe ETL proceduresusedinhtebusinessintelligenceofsupemrarketindustry．TheETLhasbeenappliedinhte supermarketindustrymanagementinfomr ationanddecisionsupportsystems． Keywords：ETL；datawarehouse；B1 0 引言 清洗也是建设数据仓库的重要步骤，并且通常在 信息资源是现代企业的宝贵资源，是企业进行 ETL过程中进行，因此研究人员将数据清洗也加入 科学管理和决策分析的基础。随着商业智能技术 到ETL研究中来。随着数据仓库、数据挖掘以及其 他信息系统建设等对数据集成的高度要求，数据 (数据仓库(Data—Warehouse，DW)、联机分析处理 (OnlineAnalyticalProcessing，OLAP)和数据挖掘 ETL逐渐成为当前信息技术中较活跃的研究领域 之一 。 (DataMining，DM)等)的发展，许多企业需要通过 对联机事务处理业务系统和办公 自动化系统记录的 1 ETL的概念及功能 大量业务数据进行加工和分析，找出有价值的信息， 数据采集 (ETL)，即数据抽取 (Extract)、转换 以支持企业的经营决策。数据仓库的出现使这一任 (Transform)、清洗 (Clenaing)、装载 (Loading)的过 务成为可能，越来越多的企业立足于多年积累的数 程，是构建数据仓库的重要环节。用户从数据源抽 据和 自身的核心业务，构建了企业级数据仓库系统。 取出所需的数据，经过数据清洗，最终按照预先定义 ETL的概念是随着数据仓库的产生而产生的。 好的数据仓库模型，将数据加载到数据仓库中去。 建设企业数据仓库最关键的工作就是将各业务系统 具体来讲，数据抽取是数据源接口，包括原始数据接