利用mpi构建柔性数据处理系统 using mpi to create flexible data processing system.pdfVIP

第３２卷第９期　　　 计算机应用与软件 Ｖｏｌ３２ Ｎｏ．９ ２０１５ 年９ 月　　 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｓｅｐ．２０１５ 利用ＭＰＩ构建柔性数据处理系统 白文若 　汪宁渤 　朱均超 　张宝峰１ ２ ３ ３ １ （天津大学精密测试技术及仪器国家重点实验室　天津３０００７２） ２ （甘肃省电力公司风电技术中心　甘肃 兰州７３００５０） ３ （天津理工大学天津市复杂系统控制理论及应用重点实验室　天津３００３８４） 摘　要　　为了提升在线应用程序进行大数据量统计时的速度，设计独立的基于消息传递接口ＭＰＩ（Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ Ｉｎｔｅｒｆａｃｅ）的并 行数据处理服务模型，与客户应用程序一同建立了柔性数据处理系统。阐述客户程序和并行服务系统的互联结构和工作方式，按照 “先判断后处理”的工作思想，客户程序根据运算规模确定是否调用并行服务程序。并行服务程序由监听程序、临时工作程序和一 组用于服务的并行程序组成，设计了基于可扩展标记语言的通信协议，实现了并行服务系统与客户程序之间的数据交换。实验比较 了串行、ＭＰＩ 并行和Ｊａｖａ 多线程程序的耗时，结果表明ＭＰＩ 并行程序比其他两种方式具有明显的优势。 关键词　　并行计算　消息传递接口　网络服务　柔性数据处理 中图分类号　ＴＰ３９９　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０９．００９ ＵＳＩＮＧ ＭＰＩ ＴＯ ＣＲＥＡＴＥ ＦＬＥＸＩＢＬＥ ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ Ｂａｉ Ｗｅｎｒｕｏ 　Ｗａｎｇ Ｎｉｎｇｂｏ 　Ｚｈｕ Ｊｕｎｃｈａｏ 　Ｚｈａｎｇ Ｂａｏｆｅｎｇ１ ２ ３ ３ １ （Ｓｔａｔｅ ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＰｒｅｃｉｓｉｏｎＭｅａｓｕｒｉｎｇ ＴｅｃｈｎｏｌｏｇｙａｎｄＩｎｓｔｒｕｍｅｎｔｓ，Ｔｉａｎｊｉｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ３０００７２，Ｃｈｉｎａ） ２ （ＷｉｎｄＰｏｗｅｒ ＣｅｎｔｅｒｏｆＧａｎｓｕ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｃｏｒｐｏｒａｔｉｏｎ，Ｌａｎｚｈｏｕ ７３００５０，Ｇａｎｓｕ，Ｃｈｉｎａ） ３ （ＴｉａｎｊｉｎＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒ Ｃｏｎｔｒｏｌ ＴｈｅｏｒｙａｎｄＡｐｐｌｉｃａｔｉｏｎｓ ｉｎ ＣｏｍｐｌｉｃａｔｅｄＳｙｓｔｅｍｓ，Ｔｉａｎｊｉｎ ＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００３８４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｏ ａｃｃｅｌｅｒａｔｅｔｈｅ ｓｔａｔｉｓｔｉｃｓｏｆｌａｒｇｅ ａｍｏｕｎｔｏｆｄａｔａｐｒｏｃｅｓｓｅｄｂｙｏｎｌｉｎｅ ａｐｐｌｉｃａｔｉｏｎｓ，ｔｈｅｐａｐｅｒｄｅｓｉｇｎｓａｐａｒａｌｌｅｌ ｄａｔａｐｒｏｃｅｓｓｉｎｇ ｓｅｒｖｉｃｅ ｍｏｄｅｌ ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ Ｉｎｔｅｒｆａｃｅ （ＭＰＩ）ｔｅｃｈｎｏｌｏｇｙ．Ｔｈｅ ｍｏｄｅｌ，ｔｏｇｅｔｈｅｒ ｗｉｔｈ ｔｈｅ ｃｌｉｅｎｔ ａｐｐｌｉｃａｔｉｏｎ，ｆｏｒｍｓ ａ ｆｌｅｘｉｂｌｅ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ．Ｔｈｅ ｐａｐｅｒ ｅｌｕｃｉｄａｔｅｓ ｔｈｅ ｃｏｎｎｅｃｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｂｅｔｗｅｅｎ ｔｈｅ ｃｌｉｅｎｔ ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ ｔｈｅ ｐａｒａｌｌｅｌ ｓｅｒｖｉｃｅ ｓｙｓｔｅｍ ａｓｗｅｌｌ ａｓ ｔｈｅ ｏｐｅｒａｔｉｏｎ ｍｏｄｅ．Ｔｈｅ ｗｏｒｋｉｎｇｐｒｉｎｃｉｐｌｅ ｉｓｔｈａｔ ａｎ ｏｐｅｒａｔｉｏｎ ｉｓｅｘｅｃｕｔｅｄ ａｆｔｅｒｔｈｅ ｓｃａｌｅ ｏｆｔｈｅ ｐｒｏｂｌｅｍ ｉｓｃｌｅａｒ．Ｔｈｅ ｃｌｉｅｎｔ ａｐｐｌｉ ｃａｔｉｏｎ ｉｎｖｏｋｅｓ ｔｈｅ ｐａｒａｌｌｅｌ ｓｅｒｖｉ