Hadoop在气象数据存储中的应用.pdfVIP

Hadoop在气象数据存储中的应用 任晓炜，黄志，詹利群 【摘要】摘要：利用虚拟资源池搭建基于 Hadoop 的大数据存储架构，将海 量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义 ETL 存 储规则进行数据清洗之后存入大数据框架，在并发读取效率测试中取得了良好 的效果，为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解 决思路和基本模型。 【期刊名称】气象研究与应用 【年(卷),期】2019(040)001 【总页数】4 【关键词】大数据；Hadoop；ETL；存储 【文献来源】