ECAS数据仓库中数据集成的相关问题.pdf

计算机应用研究 2002年 ECAS数据仓库中数据集成的相关问题 王智超1，王炎初1，杨静1，樊莉萍1，戴坚2，周庆安2 (1．南京大学计算机软件新技术国家重点实验室，江苏南京210093；2．宝山钢铁股份有限公司能 源部，上海201900) 摘要：数据仓库越来越广泛地应用于企业决策分析，从传统的操作型数据库集成数据是创建数据仓库 必不可少的一步。结合宝钢能源部能源分析及成夺分析系统(Eo蟾)数据仓库，介绍了建立数据仓库时从 不同的数据源抽取数据、清洗数据的相关问题。 关键词：数据仓库；数据集成；数据抽取；数据清洗 12 中图法分类号：1811 文献标识码：A 文章编号：1001．3695(2002)11伽34—02 in ECASDataWarehouse RelationalProbleⅡ峙of tlle Da诅hte加ty Yan—chu‘，YANG Ji矗，删ou wANc丑1i．ch帅1，wANG J1耐．FANu_pi耐，DAI Qi时舒 r，帖，神g￡赫琊计，‘~口耐昭』打u210093，(舳u；2脚蝻Ⅻ椰删 ¨s蝌P№￡Ⅱ60删吖加’m州∞甲Ⅱ盯s萨一％im如F ‰hn抽n＆skdo町”删啪删，鼬龇井耐201900．(舳Ⅵ1 Ah扛砸：rhe dahware}肼lse运rmwused ill dec画册makiIlgand删dysls t0 tedmolo鼎0f beiIlg widelye呲erpfi昌e ItⅢiIldi咿rbable da蛔h皓est。bllildada切warehoI耻．T托5 mt。殍a姆da纽丘咖喇60n出哟Ⅱ删lal hD巾d赶er即t 0f tI-eEI■SdatawareIlouse． dala data “LHcti|塔andc1蚰n血g H，LIrces“tIl怔“哪IebIlilding wor出：Datawa啤hlse：Lna E]【h钟don；D出Cleal试Ilg Key I【l忙鲥ty；n日ta 实丧和维表的形式组织，由Syl，aseAdapnve％ner管理； 1 引言 传统的数据库系统多为一些单独的、分散的数据 库，小可避免地存在数据碎片昶J数据不一致性问题。数 据仓库技术应运而生．较＆r地解决了上述问题。数据仓 访问；9672是内部数据源，其数据以文本文件(Txl)的形 『辛是-个面向主题的、集成的、不可型新的且随时间4； 式传输到本地；本地原有的数据源包括Fox‰，dBa*等： 断变化的数据集合．数据仓库中的数据必须是于挣的、 系统数据流图如网2所示。 f确的，且数据表示是统一的，但数据仓库的数据通常 来自多个数据源．每个数据源有4：同的数据模刚，不同 的数据格式：所以，首先要从各个数据源抽取数据，而后 对数据进行清洗、汇总，将数据装人数据仓库。这些过 囱国匝固o’ 程部需要元数据的支持，女H图I所示。元数据是对数据 图2EcAs数据流图 源和数据终点(数据仓库)的数据的详细描述。该描述 包含埘数据类型、数据格式和每一个数据域的具体说 21本地数据源 明，同时指出了原始数据源中数据元素和数据仓库中数 一矛蔷