上海浦东发展银行统一数据集市生产环境架构评估.docVIP

上海浦东发展银行 统一数据集市 生产环境架构评估  文件状态： [ ] 草稿 [ ] 正在修改 [√] 正式发布 文件标识： SPDB-UDM-PRODENV-EVAL 当前版本： V1.0 作 者： 盛勇 完成日期： 2007-10-30 版 本 历 史 版本/状态 作者 参与者 起止日期 备注 1.0 盛勇 赵志勇(总行反洗钱) 艾馨强(运营内控) 徐鹤(非现场审计) 马玺(信用卡反洗钱) 2007-10-30  目 录 1 本文目的 5 2 项目背景 5 3 待评估的统一数据集市生产环境架构 6 3.1 初期上线建议架构 6 3.2 建议未来的扩展架构 7 4 应用数据调查 7 4.1 统一数据集市共享数据 8 4.2 总行反洗钱 8 4.3 运营内控 8 4.4 非现场审计 9 4.5 信用卡反洗钱 9 5 服务器规格 10  本文目的 上海浦东发展银行基于反洗钱、运营内控和非现场审计三个应用为基础建置统一数据集市，由于各应用进展情况有些差异，而前期的服务器应用采购部分都已经完成，从整合架构、合理化配置的原则出发，需要对目前整个统一数据集市涉及的应用架构包括硬件资源进行合理的规划。 本文将展示针对目前具体实际情况设计待评估的统一数据集市生产环境架构，以及实际应用的数据调查，用于评估可行性和分析风险点。 项目背景 目前涉及整个架构规划的项目共有5个：统一数据集市、总行反洗钱、运营内控、非现场审计以及信用卡反洗钱。 总行反洗钱已经进入上线阶段(生产环境已经部署)，最终需要从统一数据集市取数 运营内控预计11月中旬上线，服务器已经到位，需要从统一数据集市取数 非现场审计需要从统一数据集市取数 统一数据集市现阶段没有独立的服务器  待评估的统一数据集市生产环境架构 初期上线建议架构 集市写节点与反洗钱读节点分离式 初期随内控项目上线时在反洗钱生产机上运行3个IQ实例，由于初期统一数据集市的数据量仅为反洗钱接口中的数据，对于反洗钱生产机的压力影响相对较小 在反洗钱生产机上对于Multiplex架构按照单机多节点方式部署，尽可能的减少耦合，为将来的扩展迁移预留余地 内控和审计等应用都是以通过读节点的方式只读访问统一数据集市的共享存储，而将自身的预警、衍生数据等存放在本地存储(Local Store)中 注意:由于目前反洗钱生产机已经部署并投入生产，反洗钱IQ实例是以独立的方式运行，切换到这个方案架构需要进行一定工作量的迁移工作 集市写节点与反洗钱读节点整合式 初期随内控项目上线时在反洗钱生产机上运行2个IQ实例，将集市写节点与反洗钱读节点整合，使得反洗钱直接通过写节点访问共享存储，将反洗钱应用的数据存储于共享存储中，这样可以提高内存使用率，降低内存的征用，同时这样才上线初期不会对反洗钱应用做很多的变更动作 内控和审计等应用都是以通过读节点的方式只读访问统一数据集市的共享存储，而将自身的预警、衍生数据等存放在本地存储(Local Store)中 建议未来的扩展架构 基于原先的集市写节点与反洗钱读节点分离式部署架构，提供了便捷的扩展迁移方法 由于Multiplex中写节点的迁移会对整体架构造成很大的影响，于是可以将反洗钱读节点和信用卡反洗钱IQ实例迁移到新的服务器上 在新反洗钱服务器上首先建立反洗钱读节点，然后配置存储即可，不涉及数据迁移工作 信用卡反洗钱作为独立的IQ实例，迁移工作相对更简单 基于原先的集市写节点与反洗钱读节点整合式部署架构，同样可以迁移到未来的扩展架构，但迁移过程相对复杂一些 应用数据调查 以下数据量均表示未经过压缩前的实际数据量，并不包括数据库需要的索引、临时表空间等数据存储空间。 统一数据集市共享数据 时间 客户数 账户数 日交易量 第一年 1600万 3400万 230万 第五年 5803万 12331万 834万 阶段 临时数据 基础业务数据量 每日增加交易数据 保留数据量 第一年 97G 200G 2G 1077G 第五年 352 725.35G 7.25G 4617G 总行反洗钱 时间 客户数 账户数 日交易量 第一年 1600万 3400万 230万 第五年 5803万 12331万 834万 时间 临时数据 业务数据 衍生数据 总计 第一年 55.71G 136.13G 118.80G 310.64G 第五年 202.05G 493.71G 430.86G 1126.62G 备注：总行反洗钱在统一数据集市初期上线时仍保留业务数据，未来会完整的迁移到整个架构体系中。 运营内控 时间 客户数 账户数 日交易量 指标数 第一年 1600万 34