面向大规模感知数据的实时数据流处理方法及关键技术.docVIP

计算机集成制造系统ＣｏｍｐｕｔｅｒＩｎｔｅｇｒａｔｅｄ 计算机集成制造系统 ＣｏｍｐｕｔｅｒＩｎｔｅｇｒａｔｅｄ ＭａｎｕｆａｃｔｕｒｉｎｇＳｙｓｔｅｍｓ 第１９ 卷第３ 期 ２０１３ 年３ 月 Ｖｏｌ．１９ Ｎｏ．３ Ｍａｒ．２０１３ 文章编号：１００６－５９１１（２０１３）０３－０６４１－１３ 面向大规模感知数据的实时数据流处理方法及关键技术 亓开元１，２，３，韩燕波１，赵卓峰１，马 强２，３ （１．北方工业大学 云计算研究中心，北京 １００１４４； ２．中国科学院 计算技术研究所，北京 １００１９０；３．中国科学院大学，北京 １００１９０） 摘 要：为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算，提出一种面向大规模历史 数据的数据流处理方法 ＲＴＭＲ，通过中间结果缓存、流水化和本地化改进了 ＭａｐＲｅｄｕｃｅ的数据流处理能力。 在此 基础上，为了适应性地构造 ＲＴＭＲ 集群，利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。 为实现集群的负载均衡，通过计算负载状态转换关系分组空闲节点和过载节点，将 ＮＰ 难的动态负载均衡问题快 速分解为规模较小的子问题，并且综合执行时间和数据移动代价作为子问题的优化目标，提高应对负载倾斜的反 应速度。 实验表明，上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。 关键词：数据流处理；大规模数