锡盟站网数据中心的设计与实现.docVIP

锡盟站网数据中心的设计与实现 　　摘 要：锡林郭勒盟站网数据中心，以我盟范围内已经建成的自动气象站、各类区域自动气象站的实时监测数据为信息资源对象，充分利用信息网络通讯技术和数据库存储与查询、分析功能，实现全盟气象部门自动站资料的整合与管理。实现了气象资料在全盟气象部门内的高效共享，并提高了气象资料在业务领域和服务领域的使用率和共享率。 　　关键词：气象资料；收集；存储；共享 　　前言 　　随着近几年站网建设的不断增加，我盟已建立了国家级自动气象站15个、国家级无人自动气象站9个、强风自动气象站1个、区域自动雨量站共136个、土壤水份观测站4个。站网运行的采集系统复杂，数据资料传输、存储不同。只有区域站自动雨量站建立了盟级中心站，进行数据传输，其他站点的数据不经盟局直接传输到了省局。随着业务需求的不断提升，盟局及旗县级对站网数据的应用需求也在增加。建立锡林郭勒盟站网数据中心可以整合锡盟所有站网数据文件及数据库文件，便于数据日常应用，同时也解决了盟市级数据文件存档及存在的网络安全问题。 　　1 气象资料历史和实时报文文件存储服务器 　　1.1 报文文件存储 　　实时报文文件库，根据实时资料的传输时效及临时传输要求，以逐小时数据为基础进行存放。报文文件按照站名来存放。文件服务选用red hat linux系统。采用shell脚本进行编码。 　　报文文件库包含15个国家级自动气象站、国家级无人自动气象站9个、区域自动雨量站136个（包括单雨量山洪站36个），两要素31个、四要素64个、7要素校准站2个。 　　数据调取方式有两种：一种是国家级自动站、无人自动气象站、土壤水分自动气象站的数据通过FTP或无线GPRS或GSM短信方式将采集数据传输到盟局区域站中心站服务器，由区局实时共享，我们通过FTP方式每个整点后10分钟以内从区局数据共享服务器上调取存入本地实时文件库中。另一种是，华云两要素、四要素区域自动气象站站通过无线GPRS或GSM短信方式将采集数据传输到盟局区域站中心站服务器，然后再转存进入报文文件服务器中；为了便于数据应用报文文件的存储以站号、区站号、年、月、日等五级目录树方式进行存放。 　　1.2 shell 　　Linux中，为用户提供了不同的shell。Shell既表示shell命令。也包含shell程序，具有双重功能。Shell命令的解释程序也叫shell。Shell既是shell命令的解释器又是一个功能强大的编程语言，它允许用户编写shell脚本，或在一个文件中“批处理”几个shell命令。Shell脚本是一种功能非常强大的工具，用它可以扩展UNIX/Linux的用途[2]。 　　1.3 shell命令的语法分析 　　虽然许多UNIX和Linux版本中包括多种shell，但它们的工作方式基本相同，Shell在用户和内核之间起着桥梁作用。各种shell之间的主要区别在于命令行语法[2]。 　　Shell脚本就是一个文件中包含一个或多个shell命令的集合。要执行这些命令，只需键入这个脚本名。具体操作如下： 　　（1）赋予脚本可执行权限。 　　具体命令为：#chmod +x test.sh 　　（2）根据存放目录树的具体情况自动生成目录。 　　具体命令为：if [ -d ${tmpdir} ]； then 　　： 　　else 　　mkdir -p ${tmpdir} 　　fi 　　（3）定义时间。 　　具体为：nowdate=`date +%Y%m%d%H` 　　nowday=`date +%Y%m%d` 　　yyyyMM=`date +%Y%m` 　　nowhour=`date +%Y%m%d%H` 　　lasthour=`date -d -1 hours+%Y%m%d%H` 　　（4）通过mget命令进行文件调取存放。 　　（5）考虑到报文资料常出现的逾限问题，每次调取时，选择当时时次和前一时次的资料进行调用。 　　1.4 气象资料历史和实时数据库 　　气象资料历史和实时数据库，根据报文文件存储服务器存储的实时及历史资料，进行数据解析入库。数据库采用了SQL Server2008。 　　具体以两个表进行存放。自动气象站、区域自动气象站、无人自动气象站存在一个数据库表中，土壤自动气象站数据存在一个数据库表中。 　　1.5 c#与SQL数据库的有机结合 　　数据解析部分使用了c#语言及SQL语句。 　　C#是一种简单的、功能强大的语言，同时也是一种安全的、面向对象的语言。C#完全建立在.NET框架基础之上，它的所有类型也都是以.NET框架所提供的统一类型系统为基础的[1]。 　　SQL数据库的数据都存储在表中。根据不同自动气象站的要素、报