安全管理平台中基于云计算的日志分析系统设计-中国云计算.PDFVIP

第41卷　 第2期 　 计 算 机 工 程 2015年2月 　 　 Vol.41　 No.2 　 Computer Engineering February2015 ·云计算专题 · 文章编号:1000-3428(2015)02-0021-05　 　 　 文献标识码:A　 　 　 中图分类号:TP311 安全管理平台中基于云计算的日志分析系统设计 1 1 1 1 2 陈　 洁 ,于永刚 ,刘明恒 ,潘盛合 ,徐克付 (1.中国移动(深圳)有限公司,广东 深圳518048;2.中国科学院信息工程研究所,北京 100093) 摘　 要:安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自 安全设备所产生的海量日志信息。 为解决现有SMP 中海量日志查询效率低下的问题,设计基于云计算的SMP 日 志存储分析系统。 基于Hive 的任务转化模式,利用Hadoop 架构的分布式文件系统和MapReduce并行编程模型, 实现海量SMP 日志的有效存储与查询。 实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得 SMP 日志的平均查询效率提高约90% ,并能加快SMP集中管控的整体响应速度。 关键词:安全管理平台;云计算;Hadoop架构;海量日志;并行处理 中文引用格式:陈　 洁,于永刚,刘明恒,等.安全管理平台中基于云计算的日志分析系统设计[J].计算机工程, 2015,41(2):21-25. 英文引用格式:ChenJie,YuYonggang,LiuMingheng,etal.DesignofLogAnalysisSystemBasedonCloudComputing in Security Management Platform[J].Computer Engineering,2015,41(2):21-25. Design of Log Analysis System Based on Cloud Computing in Security Management Platform 1 1 1 1 2 CHEN Jie ,YU Yonggang ,LIU Mingheng ,PAN Shenghe ,XU Kefu (1.China Mobile(Shenzhen) Co. ,Ltd. ,Shenzhen518048,China;2.Institute of Information Engineering, Chinese Academy of Sciences,Beijing 100093,China) 【Abstract】With thedevelopment ofcloudcomputing,massivedata canbevery easytobe storedandmanaged.Security Management Platform(SMP) is a support platform which realizes security management normalized operation.In a real application,thisplatform needs to process the massive information which generates from security device in real time. Considering the problem of low qu