资料品质跟资料净化技术之探究.docVIP

資料品質及資料淨化技術之探究 －以環保部門資訊整合為例 連志誠 黃素梅 東吳大學資訊科學系 朱雨其 行政院環保署監測資訊處 摘 要 隨著公私企業部門對整合性資訊系統及資料倉儲應用的日益普及，「資料品質」已成為當前資訊系統建構過程及日常操作應用的一項重要課題。由於單一資料來源的資料品質控管程序與多個資料來源的控管程序差異甚大，現行資料倉儲相關技術可否有效提昇資料整合後的資料品質問題，頗值得探討。事實上，資料品質的問題在傳統資料庫與整合性資訊系統（或資料倉儲）有相當差異，在資料整合過程中，來源資料因為使用者輸入錯誤或組織環境隨著時間的推移而改變，這些都會影響所存放資料的品質。本文旨在探討在資料品質的特性及現行提昇資料品質的學理背景及實作方法，特別是資料淨化（data cleaning）技術的相關討論，並以環保部門的資訊整合應用實例輔助說明，以期對資料品質課題有通盤性之瞭解與掌握。 關鍵詞：資料品質、資料淨化、資訊整合系統、資料倉儲 A Study on Applying Data Quality and Data Cleaning Technologies to Government Data Integration Chih-Cheng Lien, Su-Mei Huang, Dept. of Computer Science, Soochow Yu-Chi Chu, Dept. of Information Management, EPA ABSTRACT Recently data integration among the departments of government has proposed as an important work to increase the quality of the services provided by government. Data quality is one major factor to make a successful data integration. In this paper, we proposed an approach which advances the current data integration approach of government with data mining technologies. We study the process of data integration in the Environmental Protection Administration Executive Yuan (EPA) of Taiwan. Then we define some metrics of data quality to detect and protect the data produced some unfavorable behaviors such as typing error, unauthorized data, data become out of date, etc. Finally, we design a lot of rules to guard the quality of the data in the related databases in EPA. We got a better data quality with our approach than that of the current approach from EPA databases. Keyword：Data cleaning , data quality, data warehouses, information integration systems 1. 前言 根據? HYPERLINK .tw/channel/news/keyword_rel/index.php?keyword=Data%20Warehousing%20Institute Data Warehousing Institute?的一份調查報告顯示[8]，美國企業因資料品質的問題，每年損失6千億美元。由於網際網路之便捷及資料庫技術之發展，使得資料整合系統之建置日益普遍。在資料整合計畫開始後，大多數企業會採行資料倉儲技術，同時運用資料擷取、轉換並載入?(Eliction, Transform, Load, HYPERLINK .tw/channel/news/keyword_rel/index.php?keyword=ETL ETL)作業程序，將各個不同來源的資料整合匯入資料倉儲。在資料擷取的階段中，原有的資料必須經由檢視，找出其中問題或錯