业务系统切换到8版时的ODS数据抽取流程.pptVIP

业务系统切换到8版时的ODS数据抽取流程介绍 统计信息系统项目小组 2005-08-30于北京 要点阐述 基本原则 当业务数据从CBPS7版转换到CBPS8版时，为保证ODS中的数据与生产库一致，我们一直强调的一个基本原则是：一旦某部分的数据转换到CBPS8版上，必须重新作该部分数据的存量抽取！ 要点阐述 要求 无论在省公司还是总公司，基于统计信息平台上都构架了大量的应用，同时有些应用又属于关键性应用（如业务快报以及保监会报送），而各省CBPS8版的上线过程会持续2－4个月的时间，所以在这期间，两个系统平台之间的衔接工作应给予足够的重视和充分的准备，确保8版上线过程中统计信息系统的稳定运行。统计信息系统的维护人员应与业务系统小组充分沟通，根据本省CBPS8版上线的流程，制定统计信息系统的数据抽取流程。 要点阐述 8版数据抽取前提：镜像库 8版数据抽取流程和镜像库的安装及更新流程 密切相关，所以统计信息系统的维护人员应与业务系统小组充分沟通，首先确定镜像库的安装及更新流程。 8版转换期间的ODS数据抽取流程 假设每上线一批公司都重建镜像库并复制8版存量数据，则数据抽取流程如下图所示： 第一批地区公司上线 第一批地区公司上线 流程图说明 流程中共有12个操作步骤，有的步骤之间可以同步进行，有的步骤之间则有依赖关系（有依赖关系的步骤间以箭头相连）； 示意图中分3组操作，步骤①②⑤⑦是和生产库相关的操作；步骤⑥⑧⑩⑾是和镜像库相关的操作；步骤③④⑨⑿是和ODS库相关的操作； 步骤②“数据成功迁移”包括：数据成功上载到了v8数据库，并删除了对应v7数据库中的数据； 由于镜像库中既有存量数据又有增量数据（步骤⑧⑩⑾的操作结果），故可以直接进行8版增量抽取（将数据从mirror库抽至basedb），而不需要做8版存量抽取（将存量数据从v8生产库抽至basedb）。 第二批、第三批。。第N批地区公司上线 第二批、第三批。。第N批地区公司上线 流程图说明 流程中共有13个操作步骤，有的步骤之间可以同步进行，有的步骤之间则有依赖关系（有依赖关系的步骤间以箭头相连）； 示意图中分3组操作，步骤①⑤⑥⑧是和生产库相关的操作；步骤②⑦⑩⑾⑿是和镜像库相关的操作；步骤③④⑨⒀是和ODS库相关的操作； 步骤②“数据成功迁移”包括：数据成功上载到了v8数据库，并删除了对应v7数据库中的数据； 由于镜像库中既有存量数据又有增量数据（步骤⑦⑩⑾⑿的操作结果），故可以直接进行8版增量抽取（将数据从mirror库抽至basedb），而不需要做8版存量抽取（将存量数据从v8生产库抽至basedb）。 8版转换期间的ODS数据抽取流程 假设每上线一批公司只建立空的镜像库（不放存量数据，只放增量数据），则数据抽取流程如下图所示： 第一批地区公司上线 第一批地区公司上线 流程图说明 流程中共有13个操作步骤，有的步骤之间可以同步进行，有的步骤之间则有依赖关系（有依赖关系的步骤间以箭头相连）； 示意图中分3组操作，步骤①②⑤⑦是和生产库相关的操作；步骤⑥⑧⑩⑿是和镜像库相关的操作；步骤③④⑨⑾⒀是和ODS库相关的操作； 步骤②“数据成功迁移”包括：数据成功上载到了v8数据库，并删除了对应v7数据库中的数据； 步骤⑤包括：在picc2/picc3所在的服务器上执行建库脚本Cre_trigdb_v050415.sh；在picc2/picc3上执行建trigger脚本CBPS7_odstri_ins_v050725.sql； 步骤④包括：删除basedb中所有的8版数据以及该批上线地区的7版数据；删除incrdb中该批上线地区的7版数据；删除脚本请参考附件《ODS清除数据sql》； 步骤⑩包括：在CBPS8版的每个MIRROR库中运行脚本CBPS8_mirror.sql（部分SQL需择库运行） 第二批、第三批。。第N批地区公司上线 第二批、第三批。。第N批地区公司上线 流程图说明 流程中共有14个操作步骤，有的步骤之间可以同步进行，有的步骤之间则有依赖关系（有依赖关系的步骤间以箭头相连）； 示意图中分3组操作，步骤①⑤⑥⑧是和生产库相关的操作；步骤②⑦⑩⑾⒀是和镜像库相关的操作；步骤③④⑨⑿⒁是和ODS库相关的操作； 步骤②“数据成功迁移”包括：数据成功上载到了v8数据库，并删除了对应v7数据库中的数据； 步骤⑥包括：在picc2/picc3所在的服务器上执行建库脚本Cre_trigdb_v050415.sh；在picc2/picc3上执行建trigger脚本CBPS7_odstri_ins_v050725.sql； 步骤④包括：删除basedb中所有的8版数据以及该批上线地区的7版数据；删除incrdb中该批上线