LinuxShell在同城用户服务中的应用.docxVIP

? ? LinuxShell在同城用户服务中的应用 ? ? 徐 娟，刘 洋，许竹霞，钟斌斌 (甘肃省气象信息与技术装备保障中心，兰州 730020) 0 引言 气象数据种类丰富，包含地面、高空、数值预报、雷达、卫星等14大类共300余种，除应用于天气预报、气候预测、气象科研领域外，气象数据在农业、能源、交通、环境、地质、医疗、建筑、防灾减灾等领域也有着十分重要的指导意义[1-5]。中国地面气象站包括地面国家级自动气象站和各省的区域级自动气象站，站点密集，观测频次高，中国地面气象资料在天气监测、气象预报和服务中发挥着重要作用。探空站相较于地面站分布稀疏，探空数据在气旋、锋面、飑线等天气系统位置和强度的分析判断、天气预报、人工影响天气、防灾减灾中应用广泛[6]。FY-4A卫星具有对天气气候和空间环境的探测能力且能够在静止轨道上同时实现红外高光谱垂直探测和闪电探测，在台风飑线天气监测、沙尘监测、航空服务的应用中作用突出[7-9]。天气雷达在对突发性、灾害性的中小尺度天气系统监测和预警、降水定量估计等天气分析中被广泛应用[10，11]。欧洲中期数值预报中心ECMWF资料和美国NCEP再分析资料普遍应用于大气环境预测、强对流天气发展演变分析中[12，13]。同城用户是气象数据共享服务的重要对象，考虑网络带宽、用户数据环境和服务的特殊性，气象数据服务采用定制化方案，按需提供，必要时将气象数据进行二次加工后对接用户业务系统。Shell是一种简单、可移植性强的脚本编程语言，Linux系统由于其具有较高的开放性、安全性和稳定性在计算机服务领域普遍应用，将shell脚本部署在Linux服务器，可实现脚本的定时高效执行，显著提高服务效率，简化运维工作量，在各领域已有成熟的应用[14-17]。 1 用户需求 在用户服务器或PC机部署MICAPS4客户端作为气象数据展示和分析的基础平台，将MICAPS4处理后的气象数据通过分布式高速缓存提供调阅服务，通过MICAPS4提供服务的产品包括中国地面观测和高空探测的实况资料、地面高空的分析产品、西北区域多普勒雷达标准格式基数据、欧洲中心ECMWF数值预报产品和美国NCEP再分析产品等。另有用户对中国地面国家气象站小时Z文件数据、中国地面区域站(包括单雨量站)质控前数据有所需求，但由于气象数据格式化标准化建设的推进，中国国家站地面气象数据已经实现了从新Z文件向bufr标准格式的切换，中国地面区域站的数据也接收不到质控前格式数据的广播分发。为满足用户需求，文章对中国地面国家站标准格式气象数据(bufr格式)和中国地面区域站质控后气象数据进行了二次加工处理，并将最终处理产品定时推送至用户端服务器。 2 程序部署 遵循气象信息业务现代化、集约化、标准化建设的要求和原则，在甘肃省气象局Vmware虚拟化资源池中搭建虚拟服务器，安装SUSE Linux Enterprise Server 11 SP3(x86_64)操作系统，服务器配置16个CPU，16 G内存和600 G硬盘。采用软连接方式链接数据源目录和程序处理后的数据归档目录，归档目录要求开放写入权限。配置网络和YUM源，打开程序运行所需的相关服务，此外，软件安装在本地盘，服务器时区设置为世界时(UTC)。 2.1 数据处理流程 数据处理流程为程序从挂载的NAS存储缓存气象数据至本地目录，格转子程序进行数据自动批量格式转换，并将格转后的中国地面国家站数据新Z文件回写至NAS进行存储，中国地面区域站转换后数据则落盘本地目录，最后调用数据传输程序将生成的气象文件发送至目标服务器，程序运行的全流程信息详细记录在程序日志文件中。 2.2 格式转换功能实现 中国地面国家级自动气象站标准格式气象数据向新Z文件的批量转换，通过将缓存文件和全路径批量传入格式转换程序实现，关键代码如下： do cd/tool/format_change/Bufr2NewzTest/ ./bufr_format_change_test ${path}/temp_aws_burf_hour/${file##*/} /tool/format_change/Bufr2NewzTest/Z_SURF*.txt/bclz/zdz/aws_txt_h/${file_time}/ mv./Z_SURF_C*.txt/bclz/zdz/aws_txt_h/${time}/ done 中国地面区域站资料的二次加工以单个打包文件为单位进行，单雨量站打包文件的文件名为“Z_SURF_C_CCCC-REG_YYYYMMDDHHmmss_O_AWS-PRF_FTM_PQC.txt”，多要素区域站打包文件的文件名为“Z_SURF_C_CCCC-REG_YYYYMMDDHHmmss_O_AWS_FTM_PQC.txt”，