水文大数据共享平台研究探究跟设计.pdfVIP

Journal of Water Resources Research 水资源研究, 2018, 7(1), 10-18 Published Online February 2018 in Hans. /journal/jwrr /10.12677/jwrr.2018.71002 Research and Design of Hydrological Big Data Sharing Platform 1 1 2 1 1 1 1 Hua Chen , Jian Xu , Zhiyuan Xiao , Jiawei Yang , Jie Chen , Shenglian Guo , Chongyu Xu 1 State Key Laboratory of Water Resources and Hydropower Engineering Science, Wuhan University, Wuhan Hubei 2 Bureau of Hydrology, Changjiang Water Resources Commission, Wuhan Hubei th st th Received: Dec. 5 , 2017; accepted: Dec. 21 , 2017; published: Dec. 28 , 2017 Abstract In this paper, the methodology of hydrological big data standardization is discussed upon analyzing on the characteristics of hydrological data. Solutions on data preprocessing, data indexing and highly effi- cient data reading and writing are also introduced. The mass storage capacity and high speed computing capability of Hadoop are utilized for designing and implementing hydrological big data sharing platform. Accordingly, the platform can be technical support for information sharing and space integration be- tween water conservancy industry and other industries, as well as the interdisciplinary sustainable de- velopment. Keywords Big Data, Hydrological Data Sharing, HDFS, HBase 水文大数据共享平台研究与设计 1 1 2 1 1 1 1 陈 华 ，徐 坚 ，肖志远，杨家伟，陈 杰 ，郭生练，许崇育 1武汉大学水资源与水电工程科学国家重点实验室，湖北 武汉 2长江水利委员会水文局，湖北 武汉 收稿日期：2017年12月5 日；录用日期：2017年12月21 日；发布日期：2017年12月28 日 摘 要 本文根据水文数据的特点探讨了水文大数据标准化方法，探索数据预处理、数据索引、数据高效存储等水文大 作者简介：陈华(1977-)，男，福建人。武汉大学教授、博导。研究方向为流域水文模拟、气候变化对水文水资源的影响研究、水利信息化。 文章引用: 陈华, 徐坚, 肖志远, 杨家伟, 陈杰, 郭生练, 许崇育. 水文大数据共享平台研究与设计[J]. 水资源研究, 2018, 7(1): 10-18. DOI: 10.12677/jwrr.2018.71002