高校数据仓库多层架构设计与ETL实现.pdfVIP

第 29卷第 2期 上 海 工 程 技 术 大 学 学 报 Vol_29No．2 2015年 6月 JOURNALOFSHANGHAIUNIVERSITYOFENGINEERINGSCIENCE Jun．2015 文章编 号：1009—444X(2015)02—0129—05 高校数据仓库多层架构设计与 ETL实现 秦道祥 ，王力生 ，李 (1．同济大学 a．网络管理中心 ；b．电子与信息工程学院 上海 200092；2．文思海辉技术有限公司 ，上海 200235) 摘要：为 了充分利用高校各业务 系统积 累的大量数据 ，设计 了5层数据仓库的系统架构 ，运用数 据抽取、转换和加载 (ETL)工具 ，把分散在 学校不 同业务系统的数据 资源进行分类和整合 ，可以 提供个人数据中心的集 中展示、数据下载等服务；利用联机分析等3-具进行数据展现 ，可以为学 校领导提供决策支持． 关键词 ：数据仓库 ；数据抽取、转换和加载 ；数据清洗 中图分类号 ：TP311 文献标志码 ：A Designand Implementation ofETL forM ulti—Layer ArchitectureofCollegeDataW arehouse 2 杰 QIN Daoxiang1a。WANGLishengIb，L Jie2 (1a．NetworkManagementCenter；b．SchoolofElectronicsandInformationEngineering，TongjiUniversity，Shanghai200092，China； 2．ChinaPacteraTechnologyInternationalCo．，Ltd．，Shanghai200235，China) Abstract：In order to take fulladvantage oflargeamountsof data accumulated from each college operationsystem ，afive-layerdatawarehousearchitecturewasdesigned．A dataextract—transform—load (ETL)toolwasusedtoclassifyand integratethedatascattered indifferentbusinesssystems．Data warehousecanprovideteachersandstudentswithintensiveshow ofpersonaldatacenter，datadownloads andotherservices，aswellasprovidedecision supportforthecollegesbyusingonlineanalysistoolsfor datadisplay． Keywords：datawarehouse(DW )；(extract-transform-load)(ETL)；datacleaning 高校经过多年的信息化建设，积累了大量 的教 调研 ，确定了适合高校 的主题及相关参数 ，设计 了 学、科研、管理方面的数据 ，这些数据分布在各业务 5层数据仓库的系统架构 ，把分散在学校不同业务 部 门的系统中，由于各业务系统的建设时间不一 、 部门的系统数 据，运用抽取、清洗、转换、加载 建设厂商不同和缺乏规划等原因，影响了信息共享 (Extract—Transform—Load，ETL)工具分类整合到 和使用．数据仓库技术从数据采集 、存储 、分析 、展 数据仓库中．建成后 的数据仓库，可以为各业务部 现等多个方面为高校数据资源 的积累和利用提供 门提供完备的数据服务 ；通过专业的工具进行数据 了完善的解决方案．本