利用数据网关实现跨库查询.pptx

利用数据网关实现跨库查询一个案例生产库OLAP服务器多维分析工具OLAP服务的弊端消耗存储空间举个例子总共10个维度每个维度有100个不同取值可能的组合：(100+1)1?1001? = 102?简化为：OLAP服务的弊端消耗存储空间建设成本高浪费系统资源实时性差缺乏灵活性分析能力不足替换方案生产库数据仓库多维分析工具扩容生产库多维分析工具数据仓库不断扩容生产库多维分析工具数据仓库数据分层?HotColdWarm数据网关HotColdWarm可编程数据网关——润乾集算器历史库SQL接口生产库集算器多维分析工具历史库集算器数据网关原理路由脚本标 准接 口历史库JDBC标准SQL生产库本地执行数据网关路由脚本示例为什么需要可编程？SQL方言SQL翻译SQL翻译标准SQL数据网关价值数据网关集算器在前台应用和后台数 据源之间形成数据计算网关解耦多维分析前台和后台解耦和单一接口为前台多维分析工具 提供简单的单一SQL 接口复杂架构支持后台数据库异构、 分库等复杂架构统一视图为多种多个前端工具提供数 据源，保持数据一致封装封装数据结构细节，后台改变不影响前台轻量级数据集市标准接口集算器提供标准SQL和JDBC、ODBC、HTTP接口列式存储列式有序压缩存储，性能优 异SPLSPL语言创新数据处理语言SPL，提升 数据计算开发和执行效率数据压缩压缩存储，快速解压，减小 在硬盘上占用的空间，读取 更快速。集算器组表维字段有序数据按照键值有序存放，常用条件过滤计算不依赖索引也能保证 高性能。复合数据类型主子表同维对齐，支持集合数据类型。数据修改支持数据修改，提供回滚机制SQL性能优化语法优化多维分析工具推拽会产生性能不高的SQL，例如直接在明细查询的SQL外面加上一层count来统计结果 总条数select count(1) from (select f1,f2,f3,f4…f30 from table1 where f1=1 and 1=1 )集算器自动优化策略：select count(1) from (select f1 from table1 where f1=1)算法优化select top 10 f1,f2 from table1 order by f1集算器采用小结果集比较的方式实现，无须大排序， 只遍历一边数据即可得到需要的结果并行查询集算器支持并行查询select /*+ parallel (4) */ * from ORDERS where AMOUNT100集算器集群敏捷集群节点服务器是独立进程，复制之后即可运 行，横向扩展更敏捷。可根据并发量、数 据量快速增减节点数量。高可用性集群具备容错机制，在节点失效时继续完成 计算任务。高性能大并发访问分给多机处理，负载均衡；单个 大任务拆分成小任务，多机并行计算。案例效果案例环境说明核心业务系统，AS400批量业务处理，48节点GP集群 多维分析前端，某多维分析工具路由规则集算器将高频热点数据前置： 最近三天和最近十二个月月末最 后一天数据性能表现50并发，热数据查询响应时间5秒高频热点高频热点数据前置，冷数据后置， 同时实现跨冷热数据查询钻取明细统计数据前置，明细数据后置，同 时实现钻取明细应用场景数据分层存储数据分层存储，高频热点数据前置，冷 数据后置，实现T+0跨冷热数据查询复杂业务查询在多个独立业务系统之间实现复杂的数 据计算路由规则，提升性能的同时保证 全量查询颗粒度分级存储数据按颗粒度分级别存储，统计数据 前置，明细数据后置，同时实现明细 和汇总数据的查询THANK YOU！