大数据技术在环境信息中的应用.pdfVIP

计算机系统应用 http：／／、^，、vw．c—s—a．o唱．cn 2015年第24卷第l期 大数据技术在环境信息中的应用① 李安增L2，王宁2，王常权3，邱燕4 1(中国科学院大学，北京l00049) 2(中国科学院沈阳计算技术研究所，沈阳1lOl68) 3(中国核示范电站有限责任公司，荣成2“312) 4(德阳广播电视大学，德阳618000) 摘要：在“辽河流域水环境管理技术综合示范”项目中，随着时间的累积，环境监测数据处理系统采集到的数据 量越来越大．然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据．研究运用大数据技术， 改进环境监测数据处理系统中的数据中心．利用HDFS强大的数据存储、管理功能，以应对数据量的增长，利用 MapReduce及Hadoop其他相关工具，快速处理海量数据，降低数据规模，最后将数据存储到数据库中． 关键词：大数据；M印Reduce；Hadoop；并行计算；分布式 of EⅡvimnm蚰tInfo珊ation AppUcation B逗DataTechnolo斟to LI An-zeng“，wANGNin酽，wrANGchallg·Qll“，QⅣY抽4 100049，chilla) 1(Univers时ofChiIle∞AcademyofSciences，BeijiIlg In妣te 邻h∞yaIlg ofc啪put吨Technolo髓ChifIe跎Academyofsciences，sheIIyangl10168，chha) ltadio柚d 618000，ChiIla) 4(D叼柚g Tele“s-叫UmVersity’Dey柚g collectcdeIⅣir．0姗emal ill Ahtnct：W油me∽伽衄lllation ismore 0f血ne，data by molli劬g讹proc懿sirlgsystem the ofw乱erEnv的眦ent Demons廿ation projectof“Comp础衄sive M觚agem僦about envimnmentaldata caIlIlot dealwittlma船iVedata LiaoningpmViIlce monit0血gprocessingsystem e任bctiVely gro诵Ilg． Intllis andllSe data tlle‰centeroftlle paper’westIldy big tecllllology．After山at，weimpfoVe HDFS functiondata c锄uSe of and to with Syscem．Wb powerfiJl managemem moIlitorir唱da恤process证g scorage cope tlle ofmem豁siVedataaIldtake of andother rel砷ed growtll adVantageMapReduceHadooptools，rapidJyprocessiIlg m雒siVe data storediIlme(鼬瓠e． da_taandreducingthesize．FiIlally，tlledatawillbe Keywords：bigd