数据清理中几种解决数据冲突方法.PDFVIP

第 12 期 唐新余等: 数据清理中几种解决数据冲突的方法 2·09 · 数据清理中几种解决数据冲突的方法 1, 2 3 1 1 , 2 唐新余 , 陈海燕 , 李 晓 , 邹光兴 ( 1. 中国科学院 新疆理化技术研究所, 新疆 乌鲁木齐 830011; 2. 中国科学院 研究生院, 北京 100039; 3. 新 疆大学 信息科学与工程学院 , 新疆 乌鲁木齐 830046) 摘 要: 建立数据挖掘模型的基石是数据仓库, 数据仓库的质量直接影响到数据挖掘模型的建立与执行效率 , 并有可能影响到数据挖掘模型的最终结果的准确度。数据清理就是发现数据中的错误和不一致并加以消除, 以 提高数据的质量, 使得数据挖掘模型建立的过程更加快捷和简便, 挖掘出来的模式和规则也就更加有效和适用。 关键词: 数据清理; 数据挖掘 ; 数据仓库 ; 数据质量; 数据冲突; 极端数据 中图法分类号: TP311. 13 文献标识码 : A 文章编号: 1001- 3695( 2004) 12- 0209- 03 Several Methods of Solving Data Conflict in Data Cleaning 1, 2 3 1 1, 2 TANG Xin-yu , CHEN Hai-yan , LI Xiao , ZOU Guang-xing ( 1. Xingjiang Technical Institute of Physics Chemistry, Chinese Academy of Sciences, Urumchi Xinjiang 830011 , China; 2. Graduate School, Chinese Academy of Sciences, Beijing 100039, China; 3 . School of Information Science Engineering Technology, Xinjiang University, Urumchi Xinjiang 830046 , China) Abstract: The footstone of creating a data mining model is data warehouse. The quality of data warehouse directly effects the efficiency of founding and implementing a data mining model, even effects the veracity of the final results of the data mining model. Data cleaning improves the quality of data by detecting wrong and inconsistent data and eliminating them. It makes the process of creating a data mining model speedily and handy, and makes the pattern and the rules of model efficaciously and ap- plicably. Key words: Data Cleaning; Data Mining; Data Warehouse; Data Quality; Data Conflict; Outliers 随着数据库技术的不断发展及数据库管理