银行卡作业调度与监控管理系统设计简介.docVIP

系统后台处理 数据处理模块 银行卡统计分析系统涉及到的数据源包括ABIS、CMS、ABIS中间层、交换中心和国际卡等系统，数据源非常复杂。数据处理模块包括数据获取、数据清洗、数据加载三个子模块。 数据获取子模块基于ETL的思想，从不同的数据源准确、及时的获取数据，形成银行卡统计分析系统需要的数据文件。 数据清洗子模块对下载的业务数据进行初步清洗，根据功能分为数据检测和数据转换两个部分。数据检测是判断下载数据文件的完整和准确性，保证数据在装载前是正确无误的。数据转换是简单处理文件数据中的特定标志字段的同一性，将不同来源的数据整合使用。数据清洗子模块需要根据业务逻辑规则对数据进行清洗。 数据加载子模块基于ETL的思想将“干净”的数据装载入数据服务器中。通过控制数据装载的流程，完成整个数据入口控制。 批量处理模块 批量处理模块主要实现基础数据平台数据在周期末时嵌入银行卡统计分析系统。批处理模块根据处理周期不同可分成：最小周期处理、月末处理等方式。 系统控制 系统处理监控模块 系统处理监控模块主要是完成系统监控功能，包括设备监控、操作监控和异常监控三个子模块。 设备监控子模块：主要对设备的运行情况进行监控，根据系统资源使用情况动态调度批量处理作业。 处理监控子模块：主要处理系统日常操作日志的监控，包括系统维护、日常操作和周期末处理的监控，以便操作员能了解系统当前的运行状态，以及处理的步骤