大数据环境下面向知识服务的数据清洗研究＊.pdfVIP

·专题· 大数据环境下面向知识服务的数据清洗研究* 、 蒋 勋 12 刘喜文 1 （1．南京大学信息管理学院 江苏南京 210039 ） （2．无锡城市职业技术学院电子信息工程系 江苏无锡 214153 ） 摘 要：大数据既丰富了知识的内涵，也增添了知识显式化的障碍。 对大数据进行数据清洗是最终获取知识的有效途 径。 由大数据的特点对知识服务重新提出要求，不仅要提高数据的使用价值，更要使数据严密的关联，这些要求一方面 通过数据清洗满足数据质量的提高，另一方面容忍非清洁数据实现知识服务效率与水平的同步提高。 文章给出了数据 清洗的基本框架模型及其局限，从而进一步提出非清洁数据的清洁度的机制。 关键词：大数据 知识服务 知识库 数据清洗 非清洁数据 清洁度 ： ； （ ） 中图分类号 G302 TP391 文献标识码：A 文章编号：1003-6938 2013 05-0016-06 Knowledge Service-oriented Data Cleaning in Big Data Abstract Big data not only enrich the knowledge connotation, but also increase the barriers of explicit knowledge. It is an effective way to acquire knowledge by data cleaning of big data finally. According to the characteristics of big data, knowl edge service needs higher requirements. Beside the data use being improved to a high value, the data association was made closely. In the first place, the data quality is improved by data cleaning. Next in importance, the synchronous improvement of knowledge service quality and efficiency are implemented by affording dirty data. A basic model of data cleaning and the limitations is introduced, and then, the data quality mechanism for dirty data is presented. Keywords big data ；knowledge service ；knowledge base ；data cleaning ；dirty data ；data quality 年该产值将达 亿。 年，美国政府拨款 亿美元启 483 2012 2 1 引言 动“大数据研究和发展倡议”计划。 IBM 、微软、Google 等国 随着以微博、 社交网络等为代表的新型信息发布方 外 巨头早已嗅到了“大数据时代” 的商机，这些国际巨 IT 式的不断涌现， 人类社会的数据种类和规模正以前所未 头借助自己拥有领先技术和丰富资源， 以及稳定的大客 ［ ］