并行处理技术在ETL 计算环境中的应用研究.pdfVIP

第２８卷第８期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．８ ２０１１年８月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｕｇ．２０１１ 并行处理技术在ＥＴＬ计算环境中的应用研究 薛　娟　苏厚勤 （东华大学计算机科学与技术学院　上海２０００５１） 摘　要　　以基金行业项目为背景，针对ＥＴＬ（ＥｘｔｒａｃｔｉｏｎＴｒａｎｓｆｏｒｍａｔｉｏｎＬｏａｄｉｎｇ）执行过程中的性能问题，提出一种结合并行处理和 集群负载均衡实现技术提高ＥＴＬ处理性能的解决方案。实践证明该技术解决方案是可靠和有效的。 关键词　　ＥＴＬ　集群　负载均衡　并行处理 中国分类号　ＴＰ３９１　　　　文献标识码　Ａ ＯＮＡＰＰＬＹＩＮＧＰＡＲＡＬＬＥＬＰＲＯＣＥＳＳＩＮＧＴＥＣＨＮＩＱＵＥＩＮＥＴＬ ＣＯＭＰＵＴＩＮＧＥＮＶＩＲＯＮＭＥＮＴ ＸｕｅＪｕａｎ　ＳｕＨｏｕｑｉｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＤｏｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００５１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｔｅｃｈｎｉｑｕｅｓｏｌｕｔｉｏｎｓｃｈｅｍｅｃｏｍｂｉｎｉｎｇｃｌｕｓｔｅｒｌｏａｄｂａｌａｎｃｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｔｅｃｈｎｉｑｕｅｗｉｔｈｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｈａｓｂｅｅｎ ｐｒｅｓｅｎｔｅｄｉｎｔｈｉｓｐａｐｅｒｔｏｅｎｈａｎｃｅＥＴＬｐｒｏｃｅｓｓｉｎｇｐｅｒｆｏｒｍａｎｃｅａｉｍｉｎｇａｔｔｈｅｐｅｒｆｏｒｍａｎｃｅｐｒｏｂｌｅｍｉｎＥＴＬｐｒｏｃｅｓｓｉｎｇｃｏｕｒｓｅｏｎｔｈｅ ｂａｃｋｇｒｏｕｎｄｏｆｆｕｎｄｉｎｄｕｓｔｒｙｐｒｏｊｅｃｔ．Ｔｈｅｐｒａｃｔｉｃｅｐｒｏｖｅｓｔｈｅｔｅｃｈｎｉｑｕｅｓｏｌｕｔｉｏｎｓｃｈｅｍｅｉｓｒｅｌｉａｂｌｅａｎｄｅｆｆｅｃｔｉｖｅ． Ｋｅｙｗｏｒｄｓ　　Ｅｘｔｒａｃｔｉｏｎｔｒａｎｓｆｏｒｍａｔｉｏｎｌｏａｄ（ＥＴＬ）　Ｃｌｕｓｔｅｒ　Ｌｏａｄｂａｌａｎｃｅ　Ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇ ２）数据转换　现实中数据极易受噪声、缺损和不一致数据 ０　引　言 的影响。特别当数据量大且大多来自异构数据源时，噪声影响 越发严重。因此在数据装载到数据仓库前要对抽取的数据进行 随着基金公司业务的不断扩大，新的基金产品不断发行、衍 预处理。例如基金行业的资产估值表涉及各个银行对基金相关 生品种类繁多，基金投资规模也不断增加。在大量沉淀的基金 费用的估算，各个银行的科目编号不统一，因此部分数据在装载 产品销售数据中进行挖掘，以发现诸如关联、连续和购买者分类 到数据仓库前需要按照本公司的财务科目编号规则进行数据转 的购买模式，基此实现预测、识别、分类和优化的分析［１］是目前 换处理。 智能业务的核心内容。 ３）数据加载　把预处理后的数据加载到目标数据仓库中， 数据抽取、转换和装载 ＥＴＬ技术是实现海量数据分类聚 可以采用ＳＱＬ语句完成装载。 合、集成和共享的重要技术手段，也是形成数据仓库和进行数据 挖掘与分析的基础［２］。 ２　并行处理过程 本文针对ＥＴＬ过程的执行性能，特别是其在负载均衡计算 环境中的执行性能，展开了相关技术研究。基于ＥＴＬ的基本理 并行处理的思想就是将单个任务分解为多个更小的单元并 论，进一步提出并行技术在负载均衡ＥＴＬ计算环境中的重要性 行执行［３］。执行并行处理过程的两个关键技术是： 及其基本实现方法。