公共数据中心的ETL系统设计与实现.pdfVIP

下载本文档

4
0
约1.12万字
约 4页
2017-09-13 发布于安徽
举报
版权申诉

公共数据中心的ETL系统设计与实现.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

第28卷第10期计算机应用与软件 Vo1．28No．1O 2011年 1O月 ComputerApplicationsandSoftware 0ct．2011 公共数据中心的ETL系统设计与实现赵俊夏小玲 (东华大学计算机科学与技术学院上海201620) 摘要 ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据 ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点，设计了数据不同的获取方式；在设置数据转换规则的过程中结合相应领域知识，保证数据质量；前置机之间实行负载均衡，同时把数据转换的不同步骤分配到两台ETL服务器来完成，保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。关键词 ETL 数据仓库数据抽取数据转换数据质量中图分类号 TP311．133 文献标识码 A DESIGN AND IM PLEMENTATIoN oFETL SYSTEM IN THE CoMM oN DATA CENTER ● ZhaoJun XiaXiaoling (SchoolofCompu~rScienceandTechnology，DonghuaUnive~i@，Shanghai201620，China) Abstract ETL processisan importantstepinbuildingadatawarehouse．MostexistingETL systemsareslow whenprocessinglarge amountsofdata．ThispaperreferstoapracticalapplicationofETLinthecommondatacentertoimprovetheoriginalstructureof theETL．In viewoftheconfidentcharacteristicsofcommondata，differentdataaccessmethodsraedesigned；duringtheprocessofsettingdatatransformation urles，correspondingdomain knowledgeisintegrated to ensuredataquality；load balancingamongfront-endsare implemented while data transfomr ationstepsareassignedtotwosepraateETLserverstoensuretheextractionandtransfomr ationefficiency．ExperimentprovestheETL system iSmoreefficient． Keywords ETL Datawarehouse Dataextraction Datatransfomr Dataquality 0 引言 1 ETL技术介绍近些年，某区的电子政务取得了长足的进步，各政务部门对 ETL是数据的抽取、转换和加载，即将分散、凌乱、异构的数数据和系统安全性的要求越来越高，但是目前各政务部门的信据整合到目标数据库中的技术，它通过建立底层数据交换平台来联系贯穿整个部门机构的异构系统、应用、数据源等，来满足息系统是相互独立的，形成信息孤岛，数据共享比较困难”。在机构内部的业务系统、数据库、数据仓库，以及其它重要的内为了解决上述问题，需要建立一个公共的数据中心，而 ETL过