基于语义匹配海量异构数据自动化集成方法研究.docVIP

基于语义匹配海量异构数据自动化集成方法研究 　　摘 要：随着互联网与信息化的普及，数据数量、数据来源与数据格式的复杂性愈加突出。互联网、传感器、人工收集等多种来源产生了海量异构数据，为解决多源异构数据处理问题，设计一种将海量异构数据自动化集成到同一数据仓库的方法。通过建立元数据模型（以数据集为单位）将来源数据按数据集分类，映射整合到数据仓库中，通过CRF序列标注模型、Skip-Gram神经网络、TF*IDF等机器学习技术，解决了数据仓库集成中语义映射的难题，实现了海量多源异构数据的自动化入库，为之后的数据分析挖掘提供了良好基础。 　　关键词：海量异构数据处理；元数据；CRF序列标注；Skip-Gram神经网络；TF*IDF算法 　　DOI：10.11907/rjdk.172628 　　中图分类号：TP391 　　文献标识码：A 文章编号：1672-7800（2018）004-0194-03 　　Abstract：With the popularization of internet and information technology， the complexity among the number of data， data sources and data formats grows more and more prominent. Internet， sensors， artificial collection and other sources have produced massive heterogeneous data， so a method of automating the integration of massive heterogeneous data into the same data warehouse is designed to solve the problem of multi-source heterogeneous data processing. By setting up the metadata model （in units of data sets）， the source data is classified according to the data set.The mapping is integrated into the data warehouse. Through the CRF sequence annotation model， Skip-Gram neural network， TF * IDF and other machine learning techniques， the problem of semantic mapping in data warehouse integration is solved， and the automatic storage of massive multi-source heterogeneous data is realized， so as to provide a good foundation for the subsequent dato analysis and mining. 　　Key Words：mass heterogeneous data； metadata； CRF sequence labeling； Skip-Gram neural networks； TF-IDF algorithm 　　0 引言 　　随着互联网的日渐普及，数据来源更加复杂[1]，数据量更是以几何级数增长。如何合理梳理海量异构、多来源的数据迫在眉睫。例如公安信息系统[2]，由于全国公安信息互联，范围广、种类多、信息?驮樱?导致了数据的海量异构。 　　同时，数据处理与自然语言处理技术日趋完善，其中针对数据处理，尹宝才、王文通等[3]介绍了深度学习算法在不同数据处理中的最新应用现状及发展趋势；宗成庆[4]通过将给予规则的方法和给予统计的方法相结合，提高了自然语言处理正确率，并对语料库技术、汉语自动分词与词性标注、句法分析、词义消歧等进行了研究。 　　本文基于海量异构数据的实际场景，对多来源、多异构的数据提出智能语义匹配的自动化集成接入方案。首先提出将多源、相似数据合并成统一的数据集，以解决来源复杂、存储重复的问题；其次，对多格式数据进行分析，针对不同格式，填写对应的配置文件（文件格式、映射目录、字段含义、分隔符等），实现多格式的数据处理；然后通过机器学习的语义匹配对语义相同、名称不同的数据字段实现智能自动化推荐，解决了来源数据集和企业内标准数据集映射的问题；最后，采集大量样本数据，通过现场测试、学