基于语义的轨迹流数据清洗方法研究.pdfVIP

摘要 摘要 近年来，随着物联网技术的发展，各种类型的传感器和便携式移动设备贯穿 了人们的日常生活，将人们生活中的点滴记录了下来并且以流数据的形式进行信 息传输。研究这些流数据的意义不仅在于归纳不同对象的特征信息，更重要的是 从中挖掘出可能改变人们的日常生活方式的潜在知识。因此，针对流数据的挖掘 研究一直吸引着研究者们的广泛关注。 流数据挖掘的首要任务就是对流数据进行清洗，旨在提高数据质量，降低噪 音数据造成流数据挖掘结果的偏失。现有的流数据清洗方法存在以下两种问题： 一种是有效提高了数据的质量却忽略了数据的体积，增加了存储压力并且造成运 行时内存溢出；二是在清洗过程中忽略数据的语义信息，影响到数据时空属性的 质量。 针对上述问题，确定本文的研究方向为：流数据质量的提高、流数据体积的 减小以及流数据语义信息的体现。本文研究改进适用于流数据清洗的方法，借助 滑动窗口模型来获取流数据的子集，采用改进的提取停留点和移动的方法来处理 获取的子集，从而达到提高数据质量和压缩数据的目的。同时本文使用语义信息 作为数据清洗的条件之一，帮助提高数据的清洗质量，压缩数据的体积从而降低 数据的储存成本。 在本文中使用的实验数据是来自于真实场景的商场顾客时空数据。首先使用 滑动窗口模型从大规模的流数据中获取数据子集；接着利用改进的停留点检测方 法，即先获取语义停留点，并将经过条件判断、确定为语义停留点的区域网格化， 形成更小的停留点候选区；然后对每个停留点候选区进行噪声检测剔除，得到停 留点候选区清洗后的数据；最后将所有停留点候选区的数据进行汇总，得到最终 清洗完成的数据集。 针对清洗完成的数据进行质量验证，本文采用了两种方法。一是与使用同一 份数据进行研究的另一种数据清洗方法进行结果对比研究，二是使用聚类算法获 取数据的聚类形状从而进行验证。实验结果表明本方法在数据质量提高方面的优 越性以及数据体积减小的有效性。在进行聚类分析时添加了应用场景，由于单机 I 摘要 设备的内存条件限制，传统的基于密度的聚类方法无法实现聚类。因此本文使用 改进的基于语义网格的聚类算法SGSCAN，针对每个停留点候选区进行聚类，再 将聚类结果映射到原研究区域进行汇总分析，从而发现商场中的热点区域。 关键词：流数据清洗；语义；数据质量；聚类分析；热点分析 II 目录 目 录 摘要 I ABSTRACT III 第一章 绪论 1 第一节 研究背景 1 第二节 研究现状及意义 3 一、国内外研究现状 3 二、研究意义 7 第三节 研究内容及创新点 7 一、论文的主要内容 7 二、论文的创新点 9 第四节 论文的结构安排 10 第二章 理论基础 11 第一节 滑动窗口技术 11 第二节 停留点和移动 12 第三节 传统停留点检测方法 13 第四节 基于语义的停留点检测方法 15 第五节 基于密度的聚类方法 17 第三章 基于语义的轨迹流数据清洗模型及算法步骤 18 第一节 基于语义的轨迹流数据数据清洗模型 18 第二节 算法步骤 21 第三节 语义网格聚类 25 第四章 实验与结论30 第一节 实验环境30 第二节 数据概括 30 第三节 数据分析 31 第四节 实验结果及分析 32 第五节 热点商铺发现36 第五章 总结与展望42 V 目录 第一节 研究总结 42 第二节 研究展望 43 参考文献44 致谢50 在读期间完成的研究成果51 论文51 课题51 VI 第