基于Hadoop和spark的森林火灾混合大数据分析系统-世界林业研究.PDF

第３１卷　第２期 世　界　林　业　研　究 Ｖｏｌ３１　Ｎｏ２ 　２０１８年４月 ＷｏｒｌｄＦｏｒｅｓｔｒｙＲｅｓｅａｒｃｈ Ａｐｒ２０１８ 基于Ｈａｄｏｏｐ和Ｓｐａｒｋ的森林火灾混合大数据分析系统研究 １ １ ２ ２ 曾志强　何小东　王　颖 　吴　鑫 （１中南林业科技大学计算机与信息工程学院，长沙４１０００４；２中南林业科技大学理学院，长沙４１０００４） 摘要：针对当前森林火灾动态监测与预警中海量、异构、多源、动态的数据在存储、计算、管理方面所面临的挑战，以及 国内外在森林火灾动态监测与预警上的研究往往只考虑单一领域或技术的问题，结合新兴的大数据分析与处理技术， 融合林火动态监测与预警不同技术领域的研究成果，对林火多源异构数据采用混合处理方法，基于Ｈａｄｏｏｐ和Ｓｐａｒｋ大 数据集成平台构建了一个森林火灾混合大数据分析系统。并设计一个林火火点检测实验，通过实验验证了该系统的 可行性和有效性，可为后续研究和建立森林火灾动态监测与预警可视化大数据平台提供参考。 关键词：森林火灾，多源异构数据，混合大数据分析，动态监测与预警，可视化 中图分类号：Ｓ７６２，Ｓ７７１８　　　　　　　文献标识码：Ａ 文章编号：１００１－４２４１（２０１８）０２－００５５－０５ ＤＯＩ：１０１３３４８／ｊｃｎｋｉｓｊｌｙｙｊ２０１７００９０ｙ ＲｅｓｅａｒｃｈｏｎＭｉｘｅｄＢｉｇＤａｔａＡｎａｌｙｓｉｓＳｙｓｔｅｍｏｆＦｏｒｅｓｔＦｉｒｅＢａｓｅｄｏｎＨａｄｏｏｐａｎｄＳｐａｒｋ １ １ ２ ２ ＺｅｎｇＺｈｉｑｉａｎｇ　ＨｅＸｉａｏｄｏｎｇ　ＷａｎｇＹｉｎ　ＷｕＸｉｎ （１ＣｏｍｐｕｔｅｒａｎｄｔｈｅＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＳｃｈｏｏｌ，ＣｅｎｔｒａｌＳｏｕｔｈＵｎｉｖｅｒｓｉｔｙｏｆＦｏｒｅｓｔｒｙａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１０００４，Ｃｈｉｎａ； ２ＳｃｈｏｏｌｏｆＳｃｉｅｎｃｅ，ＣｅｎｔｒａｌＳｏｕｔｈＵｎｉｖｅｒｓｉｔｙｏｆＦｏｒｅｓｔｒｙａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１０００４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｃｈａｌｌｅｎｇｅｓｉｎｔｈｅｓｔｏｒａｇｅ，ｃｏｍｐｕｔｉｎｇａｎｄｍａｎａｇｅｍｅｎｔｏｆｍｕｌｔｉｓｏｕｒｃｅａｎｄｄｙｎａｍｉｃ ｄａｔａｏｆｍａｓｓｉｖｅ，ｈｅｔｅｒｏｇｅｎｅｏｕｓ，ｍｕｌｔｉｓｏｕｒｃｅａｎｄｄｙｎａｍｉｃｄａｔａｕｓｅｄｉｎｃｕｒｒｅｎｔｄｙｎａｍｉｃｍｏｎｉｔｏｒｉｎｇａｎｄｅａｒｌｙ ｗａｒｎｉｎｇｏｆｆｏｒｅｓｔｆｉｒｅｓａｎｄｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｒｅｌａｔｅｄｓｔｕｄｉｅｓａｔｈｏｍｅａｎｄａｂｒｏａｄｏｆｔｅｎｐｕｔｔｈｅｆｏｃｕｓｏｎａ ｓｉｎｇｌｅａｓｐｅｃｔｏｒｔｅｃｈｎｉｃａｌｐｒｏｂｌｅｍｓ，ｔｈｅｐａｐｅｒｔｏｏｋｔｈｅｈｙｂｒｉｄｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｆｏｒｔｈｅｍｕｌｔｉｐｌｅｈｅｔｅｒｏｇｅｎｅｏｕｓ ｄａｔａｏｆｆｏｒｅｓｔｆｉｒｅａｎｄｃｏｎｓｔｒｕｃｔｅｄａｍｉｘｅｄｂｉｇｄａｔａａｎａｌｙｓｉｓｓｙｓｔｅｍｂａｓｅｄｏｎＨａｄｏｏｐａｎｄＳｐａｒｋｂｉｇｄａｔａ ｉｎｔｅｇｒａｔｉｏｎｐｌａｔｆｏｒｍｓｂｙｃｏｍｂｉｎｉｎｇｗｉｔｈｅｍｅｒｇｉｎｇｂｉｇｄａｔａａｎａｌｙｓｉｓａｎｄｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｏｌｏｇｙａｎｄｉｎｔｅｇｒａｔｉｎｇ ｄｉｆｆｅｒｅｎｔｒｅｓｅａｒｃｈｒｅｓｕｌｔｓｏｆｄｙｎａｍｉｃｍｏｎｉｔｏｒｉｎｇａｎｄｅａｒｌｙｗａｒｎｉｎｇｏｆｆｏｒｅｓｔｆｉｒｅｓＡｆｏｒｅｓｔｆｉｒｅｄｅｔｅｃｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔｗａｓｄｅｓｉ