数据仓库etl方案..docVIP

要求： 1、需要业务系统生产库的一个用户账号，权限是能够查询业务系统生产库的数据，提供这个用户的连接串，这个需要在方案实施前一天提供。 2、需要在业务系统生产库上新建一个表空间，用户存储物化视图日志表，大小至少是业务系统生产库10天的数据量占用的空间大小 3、数据仓库的服务器应该至少是业务系统生产库大小的6倍，数据库要求oracle10g 说明： 1、本次测试选择10数据块做测试。 2、时间点选择业务系统生产库用户少的时候。 3、试验物化视图日志对业务系统生产库的各种性能压力测试。 4、试验业务系统生产库增量数据抽取对业务系统生产库的压力测试及效率问题。 5、试验业务系统生产库存量数据抽取时对业务系统生产库空间的要求、抽取时间、以及效率计算等。 实施步骤： 1、查看测试库是否正常，是否能符合数据仓库要求 2、在测试库上新建表空间、用户 3、把现在开发库上odm，ods，dw，dm，etl用户下的数据表（系统参数表），存储过程，视图，序列，数据库链等移植到新的测试库上。 4、由业务系统生产库的DBA新建用户，权限是能够查询业务系统生产库的数据，并创建表空间用于存放物化视图日志，然后告知营销分析系统项目组（前一天完成） 5、根据业务系统生产库，营销分析系统项目组生成10块物化试图日志脚本、物化试图，ods脚本，dw脚本（前一天完成） 6、在odm库上创建业务系统生产库的dblink，检测是否能够查询数据（前一天完成） 7、营销分析系统项目组提供创建物化试图日志脚本，由业务系统生产库dba审核并在业务系统生产库上创建 8、营销分析系统项目组在数据仓库测试机上odm库创建物化试图，时间根据业务系统生产库和测试库存储来计算，初步估计在1到2小时 （说明：ODM上创建物化视图的过程既存量数据抽取过程，第七第八步骤需要业务系统生产库停机操作，否则会产生数据仓库的数据不准确） 9、营销分析系统项目组在odm库创建物化试图的物化试图日志。 10、营销分析系统项目组分别ods库、dw库上用前面生成的脚本创建库 11、检查各个用户下的数据库链，存储过程、序列等是否正常 12、启用etl调度开始抽取数据 ----------------------------精品word文档 值得下载 值得拥有---------------------------------------------- ----------------------------精品word文档 值得下载 值得拥有---------------------------------------------- -----------------------------------------------------------------------------------------------------------------------------