巨量数据稀化算法探究和软件设计.docxVIP

巨量数据稀化算法探究和软件设计

1绪论

1.1课题研究背景、目的及意义

随着电子信息技术的发展，系统芯片信息处理能力的不断增强，电子测试设备的采样频率越来越高，测试精度也有了长足的进步，并广泛的应用到工业、农业、医疗、航空航天、武器系统测试等领域，发挥着不可或缺的作用。然而当测试设备在进行长时间的实时监测时，将会产生数百兆甚至数千兆的测试数据，这样大的测试数据通常称之为“海量数据”。

而对如此海量的测试数据，在对数据进行后期处理以及信号特征信息快速提取的过程中，将会遇到一系列的困难:第一，常用的处理方法(如傅里叶变换、相关分析等)因为数据量过大，系统运行缓慢，等待时间过长，处理效果低下，甚至无法完成对海量数据的分析与处理[幻;第二，海量数据中的有用信息可能被淹没在大量的无用信息中，不能快速有效的进行区分定位，进而严重的影响了数据处理的效率和效果[3];第三，海量数据信号特征的变化规律极其复杂，且不易把握，制约了信号特征信息的快速提取。因此如何利用有效的数据稀化方法，采取合适的信号处理技术，对海量数据进行分析与处理，从而完成对海量数据的时频分析与信号特征的快速提取，进一步提高处理效率是当前具有一定应用价值的研究课题。

本课题的研究目的是从均匀稀化与非均匀稀化两个方而深入研究海量数据的稀化算法，并提出一种针对海量测试数据的非均匀稀化算法，在理论研究的基础上，以LabV

IEW编程语言为平台，研究设计一个针对海量数据的信号处理系统。该系统能够通过对海量数据进行均匀与非均匀的数据稀化，并对稀化后及局部重构数据进行傅里叶变换、相关分析、谱分析和小波分析等常用时频域分析方法的分析处理，完成海量数据特征信息的快速提取及显示。

海量数据稀化算法的研究可有效解决当前测试领域存在的海量测试数据处理效率低下，测试数据特征信息不能实时快速获取的难题，能够为测试数据的后期细化分析提供基础的技术保障。另外利用LabVIEW的“软件即仪器”优势，可将海量数据处理方法方便的应用到测试设备中去，对测试设备整体性能的提高起到一定的促进作用。

1.2课题国内外研究现状

1.2.1海量数据处理技术研究现状

对海量数据进行处理的首要任务是对海量数据进行稀化，即力求用最少的数据表达信源所发出的信号，使信号占用的存储空间尽量小，而且尽量不丢失信号的关键信息数据稀化算法是海量数据处理的关键，针对相互之间

没有关联信息的散乱海量数据点，首先需要寻找到各数据点与相邻数据点之间的关联规律，在这个过程中，如果将每个点都与其它点计算距离、比较大小，稀化效率是比较低下的。目前针对如何对海量数据进行简化，国内外提出了很多切实可行的方法。

PaulyM,GrossM,Kobbelt

提出了基于点的简化，即直接以采样点的空间近似替代数据波形的包络信

息，避免因存储点间连通性而带来的信息冗余和过量存储消耗，同时保证

简化数据的质量。典型算法如点删除、基于傅立叶理论的简化和基于局部

变化估计的简化等。然而这种简化易丢失关键的数据特征，难以保证边界

线或转折线处有足够的采样密度，导致数据的残缺，不利于数据的后期处

理。4海量数据处理系统软件 50-76

4.1虚拟仪器及LabVIEW编程 50-53

4.1.1虚拟仪器的结构 50-51

4.1.2LabVIEW的编程 51-52

4.1.3LabVIEW的信号分析 52-53

4.2海量数据稀化模块 53-59

4.2.1均匀降频重采样算法 53-55

4.2.2基于曲率变化的海量 55-59

4.2.3非均匀降频重采样数据 59

4.3信号特征分析模块 59-66

4.3.1时域分析 59-61

4.3.2频域分析 61-63

4.3.3时频域联合 63-66

4.4系统控制与文件管理部 66-69

4.4.1用户登录模块设 66-67

4.4.2数据存储模块 67-68

4.4.3报表打印模块 68-69

4.5实验结果及 69-74

4.6本章小结 74-76

5总结与展望 76-78

5.1本文的主要 76-77

5.2今后的工作 77-78

总结

海量数据稀化技术在测试数据的后期处理领域具有广泛的应用前途。本文针对海量数据后期处理困难的问题，从均匀重采样与非均匀重采样两个方而对数据稀化算法进行了深入的研究，并从理论上分析了重采样后数据的处理方法。最后采用LabVIEW软件平台以及模块化设计的核心思想，设计