云计算环境下海量分布式数据处理协同机制研究.pdfVIP

第３０卷第１期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．１ ２０１３年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１３ 云计算环境下海量分布式数据处理协同机制的研究 戴炳荣　宋俊典　钱俊玲 （上海计算机软件技术开发中心　上海２０１１１２） 摘　要　　云计算环境下的数据管理和存储呈现出异构、分布式和动态等特点，为数据处理系统的设计和开发带来一定挑战，数据 处理过程的协同是解决上述问题的有效手段。在协同计算模型分析的基础上，提出一种数据处理的协同机制，重点研究分布式数据 的协同管理和任务的协同调度。实际的案例分析表明，该机制和方法可以大大提高并行数据处理的能力，为云计算环境下的数据处 理平台的研发提供了一种可行的思路和方法。 关键词　　协同计算　数据处理　协同机制　云计算 中图分类号　ＴＰ３１１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．０１．０２５ ＲＥＳＥＡＲＣＨＯＮＣＯＯＰＥＲＡＴＩＯＮＭＥＣＨＡＮＩＳＭＦＯＲＭＡＳＳＤＩＳＴＲＩＢＵＴＥＤＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧＩＮＣＬＯＵＤＣＯＭＰＵＴＩＮＧＥＮＶＩＲＯＮＭＥＮＴ ＤａｉＢｉｎｇｒｏｎｇ　ＳｏｎｇＪｕｎｄｉａｎ　ＱｉａｎＪｕｎｌｉｎｇ （ＤｅｐａｒｔｍｅｎｔｏｆＳｏｆｔｗａｒｅＳｅｒｖｉｃｅａｎｄＰｌａｔｆｏｒｍ，ＳｈａｎｇｈａｉＤｅｖｅｌｏｐｍｅｎｔＣｅｎｔｅｒｏｆＣｏｍｐｕｔｅｒＳｏｆｔｗａｒｅＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０１１１２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ，ｄａｔａｍａｎａｇｅｍｅｎｔａｎｄｓｔｏｒａｇｅｐｒｅｓｅｎｔｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｈｅｔｅｒｏｇｅｎｅｏｕｓ，ｄｉｓｔｒｉｂｕｔｅｄａｎｄ ｄｙｎａｍｉｃ，ｗｈｉｃｈｂｒｉｎｇｃｅｒｔａｉｎｃｈａｌｌｅｎｇｅｆｏｒｔｈｅｄｅｓｉｇｎａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｆｄａｔａｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍ．Ｔｈｅｃｏｏｐｅｒａｔｉｏｎｏｆｄａｔａｐｒｏｃｅｓｓｉｎｇｉｓａｎ ｅｆｆｅｃｔｉｖｅｍｅａｎｓｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ．Ｂａｓｅｄｏｎａｎａｌｙｓｉｎｇｔｈｅｃｏｏｐｅｒａｔｉｏｎｃｏｍｐｕｔｉｎｇｍｏｄｅｌ，ｉｎｔｈｅｐａｐｅｒｗｅｐｒｏｐｏｓｅａｃｏｏｐｅｒａｔｉｏｎ ｍｅｃｈａｎｉｓｍｏｆｄａｔａｐｒｏｃｅｓｓｉｎｇ，ａｎｄｐｕｔｔｈｅｅｍｐｈａｓｉｓｏｎｔｈｅｃｏｏｐｅｒａｔｉｏｎｏｆｄｉｓｔｒｉｂｕｔｅｄｄａｔａｍａｎａｇｅｍｅｎｔ（ＣｏＤＤＭ）ａｎｄｔｈｅｃｏｏｐｅｒａｔｉｏｎｏｆ ｔａｓｋｓｃｈｅｄｕｌｉｎｇ（ＣｏＴＳ）．Ｐｒａｃｔｉｃａｌｃａｓｅｓａｎａｌｙｓｅｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｉｓｍｅｃｈａｎｉｓｍａｎｄｍｅｔｈｏｄａｒｅａｂｌｅｔｏｉｍｐｒｏｖｅｔｈｅａｂｉｌｉｔｙｏｆｐａｒａｌｌｅｌｄａｔａ ｐｒｏｃｅｓｓｉｎｇｇｒｅａｔｌｙ，ｉｔｐｒｏｖｉｄｅｓａｆｅａｓｉｂｌｅｔｈｏｕｇｈｔａｎｄａｐｐｒｏａｃｈｆｏｒｔｈｅｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｆｄａｔａｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍｉｎｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ． Ｋｅｙｗｏｒｄｓ　　Ｃｏｏｐｅｒａｔｉｖｅｃｏｍｐｕｔｉｎｇ　Ｄａｔａｐｒｏｃｅｓｓｉｎｇ　Ｃｏｏｐｅｒａｔｉｏｎｍｅｃｈａｎｉｓｍ　Ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ 究。针对数据处理对象、流程和任务的管理，提出了数据处理的 ０　引　言 协同模型，将其应用于海量数据处理平台的设计中并进行了验 证分析，为云计算环境下的协同应用机制研究提供了一种新的 随着计算机和互联网技术的高速发展，信息呈现出爆炸式 思路和方法。 的增长模式。面对不断拓展的数据规模，