(完整word版)数据仓库系统运维操作手册.docx

数据仓库生产环境操作手册 一．运维概述 “数据仓库生产系统” 的运行维护责任在于保障系统运行， 运维方式主要是操 作员通过工作机远程登陆到系统中的相关主机， 对主机进行操作， 包括 automation 调度系统、数据库、磁盘、软件环境、数据情况等，查看批出理的运行情况，一旦运行出现问题作相应的记录并通知相关的技术人员，作出相应的处理。 所有运维项目成员严格按照 《数据仓库系统运维守则 .doc 》文档来进行运维检查工作，否则出现事故由值班人员和当日值班负责人承担事故责任。 二．运维内容 1．每日维护 1.1 数据检查 每日批处理运行前运行完成后都需要对源头的数据和生产出的数据进行检查， 确保当日批处理程序正常从事生产。检查工作在每日 9：00-9：30 之间完成，且必须在启动程序（批处理程序）前执行。具体规定如下： 1.1.1 转定长数据的检查 每天上午 9:00--9 ： 45 之间，运维值班人员进行这项工作具体执行步骤如下 : 1.在本地工作机上使用 telnet 远程登录工具登录到 63 服务器上， 输入用户名 sjtq,密 码:cib2009edw, 2.输入命令 cd EDW/sh/log 3.输入命令 more yyyymmdd  当天的日志，是否有错误信息，最后数据是否都上传结束。 4.以下错误属于正常情况： 03:00:03 : 1. 检查标志文件失败～～～～～～～～～ 03:00:03 : 1. 数据标志检查失败，等待 5 分钟 (06001/dta_varied) 正常等待情况 5.检查点如下： 1）每个大任务开始的初始化操作 03:00:00 : ================ 0.环境变量设置完毕 ================ 2）数据装载，卸载，上传，整个模块处理结束的情况。 05:41:50 : ================ 2.装载 Unl 数据完毕 ================ 05:41:50 : ---------------- 2.开始装载 BAK 数据 ---------------- 05:41:50 : ================ 2.装载 BAK 数据完毕 ================ 05:41:50 : ---------------- 3.开始卸载 fix 数据 ---------------- 06:26:11 : ================ 3. 卸载 fix 数据完毕 ================ 06:26:11 : ---------------- 4.开始向批量数据交换平台送 fix 数据 ---------------- 06001 send ok 06001 send ok 06002 send ok 06002 send ok 07002 send ok 07002 send ok 06027 send ok 06027 send ok 06:28:56 : ================ 4. 向 批 量 数 据 交 换 平 台 送 fix 数 据 完 毕 ================ 06:28:58 : END 6.查找是否存在“错误“， ”出错“字样。 7.检查的模块有 06001， input ， 06002，07002， 06027 几个模块的转定长情况，都要看到正 常 END 结束。 8.检查日志中是否存在跑到一半或一部分就终止的现象。 如果没有转换成功或数据晚到， 时间顺延检查， 并将异常情况汇报给当日值班负责人和客户， 并记录异常到《异常情况登记及处理单 _YYYYMMDD.doc 》中。 1.1.2 源数据是否全部到达 数据仓库每日 06:00 定时触发加载。 在正常情况下，数据仓库项目组要求各系统源数据 抽取必须在每日 05:00 之前完成，并传送到上海数据交换平台。如果数据抽取或传送出现错 误，请源系统接口负责人在 06:00 前完成数据补导操作。 加载触发之后，可以看到每台 etlserver 上都启动了 ftpall 和 getall 两个作业，其中 ftpall 脚本负责从数据交互平台获取源系统文件， getall 脚本负责对源系统文件进行解压、格式检 查，并将检查结果存放在 DQC 日志表中。 检查方法： 检查项 检查方法 1.FTP 是否结束 查看 AUTOMA TION Monitor 前台界面 Running Job 是否有 FTPALL_ETL1 ， FTPALL_ETL2 ， GETALL_ETL1 ， GETALL_ETL2 任务是否正在运行。若没有以上任务，说明从 数据交换平台 FTP 数据已经完成。 如果还在运行， 说明有些数 据文件还未