基于大数据技术EAST实验数据访问日志分析系统设计.PDFVIP

第３５卷第９期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．９ ２０１８年９月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｓｅｐ．２０１８ 基于大数据技术的ＥＡＳＴ实验数据访问日志分析系统的设计 １，２ １ １，２ 章琦皓 　王　枫 　王月婷 １（中科院等离子体物理研究所　安徽合肥２３００３１） ２（中国科学技术大学　安徽合肥２３００２６） 摘　要　　ＥＡＳＴ装置产生的实验数据规模日益变大，对ＥＡＳＴ上的ＭＤＳｐｌｕｓ数据存储服务器进行有效地监控是 很有必要的。为了方便实验人员对ＭＤＳｐｌｕｓ服务器上的用户进行管理，设计一个ＭＤＳｐｌｕｓ日志离线和实时分析 系统。ＭＤＳｐｌｕｓ日志分析系统采用的大数据处理框架是Ｈａｄｏｏｐ生态圈的ＭａｐＲｅｄｕｃｅ离线计算模型和Ｓｐａｒｋ生态 圈中的ＳｐａｒｋＳｔｒｅａｍｉｎｇ实时数据计算模型。系统还使用Ｆｌｕｍｅ、Ｋａｆｋａ的日志监测、聚合、分发等关键性技术，使得 ＭＤＳｐｌｕｓ海量日志数据的处理能力变为可能，且能够在秒级别处理千万条未处理的ＭＤＳｐｌｕｓ日志信息，离线和实 时处理后展现在Ｗｅｂ端。测试表明，系统工作能够满足设计需求，对聚变实验数据的管理具有重要的应用价值。 关键词　　ＭＤＳｐｌｕｓ日志　ＨａｄｏｏｐＭＲ模型　ＳｐａｒｋＳｔｒｅａｍｉｎｇ　Ｆｌｕｍｅ　Ｋａｆｋａ 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０９．００９ ＤＥＳＩＧＮＯＦＴＨＥＥＡＳＴＥＸＰＥＲＩＭＥＮＴＡＬＤＡＴＡＡＣＣＥＳＳＬＯＧＡＮＡＬＹＳＩＳＳＹＳＴＥＭ ＢＡＳＥＤＯＮＢＩＧＤＡＴＡＴＥＣＨＮＯＬＯＧＹ １，２ １ １，２ ＺｈａｎｇＱｉｈａｏ 　ＷａｎｇＦｅｎｇ　ＷａｎｇＹｕｅｔｉｎｇ １（ＩｎｓｔｉｔｕｔｅｏｆＰｌａｓｍａＰｈｙｓｉｃｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｈｅｆｅｉ２３００３１，Ａｎｈｕｉ，Ｃｈｉｎａ） ２（ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ，Ｈｅｆｅｉ２３００２６，Ａｎｈｕｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＴｈｅｅｘｐｅｒｉｍｅｎｔｄａｔａｇｅｎｅｒａｔｅｄｂｙｔｈｅＥＡＳＴｄｅｖｉｃｅｉｓｇｅｔｔｉｎｇｌａｒｇｅｒａｎｄｌａｒｇｅｒ，ａｎｄｉｔｉｓｎｅｃｅｓｓａｒｙｔｏ ｍｏｎｉｔｏｒｔｈｅＭＤＳｐｌｕｓｄａｔａｓｔｏｒａｇｅｓｅｒｖｅｒｏｎＥＡＳＴ．ＩｎｏｒｄｅｒｔｏｆａｃｉｌｉｔａｔｅｔｈｅｍａｎａｇｅｍｅｎｔｏｆｕｓｅｒｓｏｎｔｈｅＭＤＳｐｌｕｓｓｅｒｖｅｒ， ａｎＭＤＳｐｌｕｓｌｏｇｏｆｆｌｉｎｅａｎｄｒｅａｌｔｉｍｅａｎａｌｙｓｉｓｓｙｓｔｅｍｉｓｒｅｑｕｉｒｅｄ．Ｔｈｅｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｆｒａｍｅｗｏｒｋｓ，ａｄｏｐｔｅｄｂｙｔｈｅ ＭＤＳｐｌｕｓｌｏｇａｎａｌｙｓｉｓｓｙｓｔｅｍ，ｗｅｒｅｔｈｅＭａｐＲｅｄｕｃｅｏｆｆｌｉｎｅｃｏｍｐｕｔｉｎｇｍｏｄｅｌｉｎｔｈｅＨａｄｏｏｐｅｃｏｓｙｓｔｅｍａｎｄｔｈｅＳｐａｒｋ ＳｔｒｅａｍｉｎｇｒｅａｌｔｉｍｅｄａｔａｃｏｍｐｕｔｉｎｇｍｏｄｅｌｉｎｔｈｅＳｐａｒｋｅｃｏｓｙｓｔｅｍ．Ｔｈｅｆｒａｍｅｗｏｒｋａｌｓｏｍａｄｅｕｓｅｏｆｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｓｕｃｈ ａｓｌｏｇｍｏｎｉｔｏｒｉｎｇ，ａｇｇｒｅｇａｔｉｏｎａｎｄｄｉｓｔｒｉｂｕｔｉｏｎｗｉｔｈｆｒａｍｅｗｏｒｋｌｉｋｅｓＦｌｕｍｅａｎｄＫａｆｋａ，ｗｈｉｃｈｍａｄｅｉｔｐｏｓｓｉｂｌｅｆｏｒ ＭＤＳｐｌｕｓｍａｓｓｌｏｇｄａｔａｐｒｏｃｅｓｓｉｎｇｐｏｗｅｒ．ＴｈｅｓｙｓｔｅｍｃｏｕｌｄｐｒｏｃｅｓｓｔｅｎｓｏｆｍｉｌｌｉｏｎｓｏｆｕｎｐｒｏｃｅｓｓｅｄＭＤＳｐｌｕｓ