关于数据仓库分库策略和应用场景探讨.docVIP

关于数据仓库分库策略和应用场景探讨 　　摘要：应用系统随着用户数和业务量的增长，数据规模会变得越来越大，数据仓库面临的存储压力和性能压力都与日俱增。为了满足业务系统发展的需要，数据仓库面临的主要问题就是如何持续的提升处理分析能力，仓库的物理拆分便成了一种首要的选择方案。针对不同的应用场景拟定合理的数据仓库分库策略显得越发重要，该文结合数据仓库建设项目中分库实施遇到的问题，对各种不同的分库策略和场景进行分析和探讨。 　　关键词:数据仓库；物理拆分；分库策略；应用场景 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2012)27-6441-03 　　Research and Implementation of ETL Cluster Optimization Technology 　　OU Yang-jing 　　(Library, Nanjing University of Finance Economics ,Nanjing 210046，China) 　　Abstract：Along with the increasing of application system users and business growth, the data scale is getting larger and larger. The requirements of the storage capability and performance for the data warehouse is becoming higher and higher. Regarding the developing application system business, the foremost problem faced with the data warehouse is how to continuously improving the data analyzing ability. Under such a situation, the physical separation of the data warehouse is the principle solution. It is very important to set up a reasonable data warehouse separation strategy for different systems. Based on real project experiences of data warehouse separation, the paper analyzed several different data separation strategies and scenarios . 　　Key words：data warehouse; physical separation; sub-warehouse strategy; scenarios 　　随着全球性竞争的加剧，越来越多的企业认识到正确及时的决策是企业生存和发展的关键所在。为适应日趋激烈的市场竞争环境，提升企业核心竞争力，大都进行了基于数据仓库[1]的各类大型应用分析系统的建设，进行数据挖掘分析等为企业发展和支撑数据规模的持续增长，数据的高速膨胀和无休止的扩容几乎成了所有大型数据仓库系统的梦魇，而如何在此情况下保证数据分析的性能是所有数据仓库系统共同面对的一大难题，迫于成本和性能以及安全性等种种压力，各系统和厂商都进行了各种不同解决方案的尝试，其中数据仓库分库便是重要的方法之一。 　　 1分库策略和应用场景 　　数据仓库分库[2-3]，简称分库，是指出于对整个数据仓库系统成本、性能、可靠性、安全性等方面的综合考虑，将数据仓库部署在多套软硬件平台上，通过不同的数据库实例来实现。而针对不同的应用场景所采取的分库方案也存在很大区别，为使得分库的投入取得期望的效果，拟定合理的数据仓库分库策略显得越发重要，本文结合数据仓库建设项目中分库实施遇到的问题，对不同的分库策略和场景进行分析和探讨。 　　1.1按照生命周期分库 　　数据仓库中保存着大量的业务数据，数据的访问范围和频率也相差甚远，在某一个时间段，其中只有小部分数据被经常访问及使用，数据的访问频率往往同数据产生的时间成反比，越近时间段的数据访问越频繁，越久远的历史数据的访问频率越低[4]，如图1所示。 　　数据仓库中所有数据最初均放在高速存储介质上，对于不经常访问的业务数据来说是一种资源的浪费。另外，数据仓库应用系统硬件设备的扩容，经常导致新扩容的硬件设备的性能要高于已有硬件设备，从而形成一种异质的硬件环境。为了充分提高查