大数据与大数据技术课件课件.pptVIP

项目背景使用传统的标准数仓建模，分ODS、DW、DM及DMAETL主要通过存储过程实现存储过程数据加工较多的使用临时表、中间表使用传统交易型DBMSORACLE作为数据仓库平台前端通过刷CUBE提升报表查询速度支撑报表数量：目前150左右每日增量更新时长：1：00－12：50*存在的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降严重*并发的计算架构*SQL(JDBC/ODBC/.Net)JAVA/C/…API加载入分布式存储SQLonHadoop加载入SQLinHadoopSourceCDHCluster+HadoopETL分布式内存数据整合数据抽取CDHNodes(Cloudera’sdistributiongincludingApacheHadoop)HadoopETLrunsnativelyoneverynodeSQLonHadoopSQLonHadoop基于标准SQL或者API界面输出*新架构解决的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降