基于kettl e 的北京市水务普查数据的提取与转换.pdfVIP

水利普查 1 2013．21 中国水利 基于 kettle的北京市水务普查 数据的提取与转换 尹晓楠 ’。邹晓涛 ，张 冬 (1．北京市水务信息管理中心，100038，北京 ；2．北京市水利 自动化研究所，100036，北京) 摘 要 ：由于北京市水务普查的对 象及 内容包含国家水利普查的内容，区县水普办只需填报北京市第一次水务 普查数据处理系统，由信息化人员对数据进行分析，利用kettle对数据进行提取和转换 ，实现 了与国家水利普查 数据处理系统的无缝对接 ．避免 了区县的重复工作，使 区县在完成北京市水务普查任务的同时也完成 了国家水 利普查数据的采集，提高了普查精度，保障了普查进度。 关键词 ：数据处理；kettle；提取 ；转换；北京市；水务普查 Kettle—baseddataextractionandtrnasformationduringwatersectorcensusinBeijing／／YinXiaonan．Zou Xiaotao，ZhangDong Abstract：TheobjectsandcontentsofwatersectorcensusinBeijingaremostlyconsistentwiththecontentsofnational watercensus．Therefore，thecensusofficesatdistrictandcountylevelsmayprovidethedataonlyoncetotheBeijing ceBSusoffice wherethedata are processed and evaluated。and then extracted and transformed by kettle fora connectionwiththenationaldataprocessing system．Asaresult，workloadofcensusofficesatdistrictandcounty is greatlyreduced，which enhancestheaccuracy ofcensusdata andworkingprorgessbecauseofcombiningofdata collectionat municipalandnationallevelsatthesametime． Keywords：dataprocess；kettle；extraction；transformation；BeijingMunicipality；wateraffaircensus 中图分类号：TP393 文献标识码：B 文章编号：1000—1123(2013)21—0057—03 由于 北《京市第一次水务普查实 想做什么．而不是你想怎么做。Kettle 一 、 数据提取与转换工具 施方案》与 第《一次全国水利普查实施 中有 transformation和 iob，两种脚本文 对 比 方案》不同。北京市第一次水务普查工 件 ．transfomration完成针对数据的基础 作领导小组办公室针对 《北京市第一 1．OmcleETL 转换 。job则完成整个工作流的控制。作 次水务普查实施方案》，开发了北京市 OracleETL是集成在 Orac1e数据 为Pentaho的一个重要组成部分．现在 第一次水务普查数