基于云计算海量高铁噪声数据滤波处理方法研究 开题报告.pptVIP

LOGO 四川省云计算与智能技术重点实验室 基于云计算的高铁噪声数据滤波处理方法研究 课题的背景与研究意义 云计算 ＆ 智能技术 内容提要 四川省云计算与智能技术重点实验室 国内外研究现状分析 课题研究目标、研究内容、拟解决的关键问题 研究方法、技术路线、试验方案及其可行性研究 计划进度、预期成果 课题背景 本课题是在国家科技支撑计划中的任务”基于广义舒适度的共性基础技术—影响广义舒适度因素间的耦合分析与模型建立”的背景下研究的。 中国已成为世界上高铁运营里程最长、在建规模最大的国家 高速铁路安全问题备受关注，当前面临的挑战是如何保证高速列车的长期安全运营 “7·23”甬温线特别重大铁路交通事故 高铁运营过程中采集的噪声数据可以反映列车实时状况 滤波处理可以剔除无效干扰信号，分离出有效的原始信号 噪声数据量飞速增长，单机处理难以满足需要 课题意义 1 2 现有传统高铁噪声滤波方法 利用并行处理的思想提高滤波效率 四川省云计算与智能技术重点实验室 3 基于云计算平台来研究高铁海量噪声数据滤波处理 均采用单机处理方式 效率低下，耗时巨大 不能满足数据分析和实时处理的需求 MapReduce编程模型 4 为数据的分析与处理提供重要保证 促进高铁舒适度研究的发展 国内外研究现状分析 四川省云计算与智能技术重点实验室 国内外已有很多传统滤波处理算法 将MapReduce应用于并行滤波处理，还未曾有研究报道 Kalman 动窗 小波变换 取得了良好的效果 研究目标 本课题重点了解几种滤波处理的原理，研究滤波处理的并行化方法。 将滤波处理与MapReduce并行计算模型相结合，提升高铁噪声数据的滤波效率，快速地剔除无效干扰信号，分离出有效的原始信号，为数据的有效分析奠定基础。 研究内容 研究滤波处理方法 研究 MapRduce并行编程模型 滤波处理方法与MapRduce模型结合 主要研究Kalman滤波、动窗滤波、小波变换滤波，研究这几种滤波方法的原理。分析在高铁噪声数据上，不同的滤波算法的参数选取问题 在已经对滤波处理方法研究的基础上分析几种滤波处理算法的可并行性，提出实用于并行性的改进。进行实验，通过加速比等评价指标评价并行的效率，通过指标评价不同的滤波处理算法在并行后的处理效果。 研究模型的特点、工作方式以及应用方法，分析MapReduce模型的实用性。 拟解决的关键问题 滤波算法 MapReduce模型 针对不同的滤波算法的原理不同，特别是有些滤波方法难以并行 的问题，对这些方法进行并行化改进。 针对MapReduce模型较固定的问题，对滤波方法与MapReduce 结合进行研究，调整MapReduce模型，达到并行滤波目标。 研究方法 Map阶段 job1 Reduce阶段 job2~n job1~n-1 jobn 读入数据的并使之对应相应的 key。 输出最终结果并计算SNR和MSE 前一个job的输出作为输入 并对应相应的key 处理Map输入并作为下一个job输出 研究方法流程图 研究对象 高铁噪声数据集 滤波方法理论分析 Kalman 动窗理论 小波理论 MapReduce模型 并行算法 高效滤波并行算法设计 滤波算法 基于云计算的高铁噪声滤波算法 云计算并行技术 结合 创新之处 将滤波处理方法与MapReduce模型相结合，提高对海量高铁噪声数据滤波的效率，使之尽可能达到实时性要求 并行滤波处理的同时计算出滤波结果的主要效果评价参数，对不同的滤波方法在并行处理后的效果 通过在不同数据集上的实验，计算出并行评价指标Sizeup和Speedup，评价并行算法的优劣性 实验平台 实验 环境 硬件环境 软件环境 Hadoop版本：0.20.2 Jdk的版本：1.6.0.01 22台刀片服务器 4CPU，16核 内核频率为2.16GHz，内存是12G 四川省云计算与智能技术重点实验室 计划进度 2012年4月前：收集资料，阅读大量相关的国内外文献。 2012年4-8月：研究滤波处理算法与MapReduce模型，对滤波处理算法与MapReduce模型进行并行化改进，并编写实验程序。 2012年9-12月：进行实验，研究实验结果，计算并行评价指标，评价滤波处理并行算法的效果以及并行算法的并行效率。 2013年1-3月：综合研究成果，开始撰写学位论文，并修改学位论文。 2013年4月：完成学位论文，准备答辩。 发表1-2篇基于云计算平台的高铁海量噪声数据滤波处理相关学术论文 学术 论文 预期成果 按期完成硕士学位论文 四川省云计算与智能技术重点实验室 发表论文情况 1. 王仲刚，李天瑞，张均波，赵成兵，高子喆.?基于MapReduce的高铁噪声数据预处理算法研究.?通信