大型数据仓库最佳实践PPT课件.pptxVIP

SQL Server 2005大型数据仓库系统设计经验分享聂发如技术方案专家微软(中国)有限公司安排SQL Server 2005数据仓库增强关系型数据仓库数据仓库设计数据装载、删除与备份 硬件与存储SQL Server集成服务(Integration Services)SQL Server分析服务(Analysis Services)SQL Server 2005数据仓库增强SQL Server关系型引擎表分区与索引分区在线索引维护Piecemeal备份 恢复TSQL分析语句 -- Pivot, Unpivot, RankNUMA支持X64支持共享、可扩展数据库--Shared Scalable Database快照隔离级别SQL Server报表服务企业报表对RDBMS 与 AS多维数据源的支持最终用户查询工具– 报表生成器SQL Server 2005数据仓库增强SQL Server集成服务高效的内存级的ETL处理专为数据仓库服务的转换组件缓慢变化维--Slowly Changing Dimensions主键检索--Key Lookup丰富的日志与容错处理能力SQL Server分析服务支持星型，甚至多-多等非传统数据架构完成支持维度模型-- UDM丰富、灵活、可脚本化cube处理；Distinct Count的提升 CustomerCustomer KeyCustomer IDCustomer NameEnterprise NameSIC CodeAddressCityStateZipPeriodDate KeyWeek NumberYearSalesDate KeyCustomer KeyProduct KeyQty SoldDollarsProductProduct KeyProduct IDProduct NameCategory事实表维表事实表 和 维表查询示例:Select sum(Dollars) from Sales S join Product P on P.Product_Key = S.Product_Keyjoin Customer C on C.Customer_Key = S.Customer_Key join Period Pe on Pe.Date_Key = S.Date_Keywhere Product_Name = ‘SQL Server 2005’ and Enterprise_Name = ‘MSFT’ and Week_Number = 20 and Year = 2006典型的星型架构‘Star Schema’事实表物理设计在日期字段上建立Clustered Index支持对某一时间段的快速顺序扫描在每个foreign key上建立日期字段上建立Nonclustered Indexes (foreign key, Date Key)用于支持针对某一dimension的选择性查询避免PK与FK约束加快数据加载事实表物理设计CustomerCustomer KeyCustomer IDCustomer NameEnterprise NameSIC CodeAddressCityStateZipPeriodDate KeyWeek NumberYearSalesDate KeyCustomer KeyProduct KeyQty SoldDollarsSalesCIDateSalesNCICustomerProductProduct KeyProduct IDProduct NameSalesNCIProduct事实表事实表索引维表Create clustered index SalesCIDate on Sales(DateKey)Create nonclustered index SalesNCICustomer on Sales (CustomerKey, DateKey)Create nonclustered index SalesNCIProduct on Sales (ProductKey, DateKey)事实表物理设计 -- 2对大型（大于50~100GB ） 事实表及其索引分区按日期字段分区可管理性滑动窗口可以简化历史数据清理查询性能包含时间条件的查询只需要访问所涉及的分区使用有意义的 integer 类型的日期key 易于编写适用于分区过滤的查询CustomerCustomer KeyCustomer IDCustomer NameEnterprise NameSIC CodeAddressCityStateZipPeriodDate KeyWeek NumberYear2006-01 SalesSalesDate KeyC