大数据融合研究：问题与挑战 - wamdm - 中国人民大学.pdfVIP

大数据融合研究：问题与挑战 孟小峰 杜治娟 中国人民大学信息学院 北京 100872 (xfmeng@) Research on the Big Data Fusion : Issues and Challenges Meng Xiaofeng and Du Zhijuan School of Information, Renmin University of China, Beijing 100872 Abstract Data characteristics and realistic demands have changed because the large-scale datas linked and crossover. The main features of the data are large scale, multi-source heterogeneous, cross domain, cross media, cross language, dynamic evolution and generalization, which is playing an important role. And the corresponding data storage, analysis and understanding are also facing a major challenge. The immediate problem to be solved is how to use the data association, cross and integration to achieve the maximization of the value of big data. Our paper believes that the key to solving this problem lies in the integration of data, so we put forward the concept of large data fusion. We use Web data, scientific data and business data fusion as a case to analyze the demand and necessity of data fusion, and proposed a new task of large data fusion, but also summarized and analyzed the existing fusion technology. Finally, we analyze the challenges that may be faced in the process of large data fusion and problems caused by large data fusion. Keywords big data, data integration, data fusion, knowledge fusion, data management 摘 要 随着大规模数据的关联和交叉，数据特征和现实需求都发生了变化。以大规模、多源异构、跨领域、 跨媒体、跨语言、动态演化、普适化为主要特征的数据发挥着更重要的作用，相应的数据存储、分析和理解 也面临着重大挑战。当下亟待解决的问题是如何利用数据的关联、交叉和融合实现大数据的价值最大化。本 文认为解决这一问题的关键在于数据的融合，所以提出了大数据融合的概念。本文首先以Web 数据、科学数 据和商业数据的融合作为案例分析了大数据融合的需求和必要性，并提出了大数据融合的新任务。然后，总 结分析了现有融合技术。最后针对大数据融合问题可能面临的挑战和大数据融合带来的问题进行了分析。 关键词 大数据；数据集成；数据融合；知识融合；数据管理 中图法分类号 TP391 近20 年里，数据产生的方式不断在扩展，数据之 或早期 “大数据”（量大）的最显著特征。 间的关系变得千丝万缕，呈现出大规模数据关联、交 （2 ）演化性：是指数据随时间或解释的变化而变 [1,2] 叉和融合的局面 ，数据出现了如下新的特征： 化的特性，体现了数据的动态性和知识的演化性。比 （1）多元性：当下数据不仅是类型多样，更重要 如，实体的某些属性在不同时间点可能产生变化。这 的是数