面向位置服务的数据处理平台的研究和设计.pdf

摘 要 在基于位置服务数据的数据挖掘研究中，数据处理能力已经成为了分析的瓶 颈。虽然基于MapReduce 计算模型人们可以通过多机并行相对快速地完成计算， 但是由于MR 模型对数据结构及任务功能有着严格的规定，在获取大数据后，还 需要进行大量的数据清洗及格式处理工作。在完成数据清洗后，数据处理工作中 也存在较多的重复编码。这些工作对数据分析的效率有着极大的负面影响。为此 本文设计了面向位置服务数据的数据处理平台，在平台的设计中完成了如下三项 主要工作。 1. 提出了面向位置服务数据的数据清洗及数据处理领域模型。本文对数据建 模方法进行了讨论，总结了数据建模的基本思路及面向特定需求的建模方法。基 于常用的导航数据给出了其在本数据平台内的数据模型及其数据清洗策略。 2. 设计了面向位置服务数据的数据处理平台体系结构。本文通过对国内外现 有数据处理技术的分析，结合面向交通流的时空查询的典型需求，设计了一个可 定制模板的数据清洗及处理平台。通过数据模板、计算模板及核心函数，快速完 成对原始数据清洗及相关的数据处理。 3. 完成了对本平台的系统设计。使用了软件体系结构描述语言对数据模型及 数据平台的核心构件进行了定义，使用构件技术及Z 语言对平台进行了描述并描 述了构件内部的处理逻辑。 通过分析现有数据处理平台，结合交通流研究的数据查询需求，本文设计了 一个面向位置服务数据的数据清洗及数据处理的开放数据处理平台。能够为实验 室的位置服务数据进行快速的数据清洗，同时提供了对时空数据的快速查询。面 向构件的设计也为今后的功能扩展提供了充分的技术支持。 关键词： 数据清洗，MapReduce ，领域建模，位置服务 ABSTRACT In the research of the data mining from location based service data, the ability of data process limits the data analysis. Although with the help of MapReduce, researchers can accomplish their calculation quickly, the calculation is still complex. Since MapReduce model has a strict limit for the data structure and calculation job, the researchers have to undertake a lot of work of data cleaning and format conversion. During their data process, researchers also need to write a lot of program to achieve the experiment. All these complex jobs have negative impact for the data analysis. In this paper, we designed a data process platform for location based service data, and three major jobs have done. 1. We designed the domain model of the data cleaning and data processing for the location based service data. This paper made a discussion for the data modeling approaches, and then we conclude the basic idea of data modeling and purpose the data modeling approaches for these requirements. Then we provided the data model and data cleaning strategy for the general location based service data. 2. We designed the software arc