GemFire与Greenplum的最佳集成实践之实施演示文稿.pptx

GemFire与Greenplum的最佳集成实践之实施 现代系统面临的问题 Applicationsscalabilitylimited by databases Real-time data insights limited by disconnected OLTP and OLAP systems Data services are not ready forcloud platforms Bottleneck Transactional Database ETL / ELT Batches Δt TRANSACTIONS ANALYTICS DaAnalytictabase Continuous Delivery Pivotal Data Suite Parallel Configurable Data Load Parallel Data Load and External Tables Hadoop Data Lakes Massively Parallel Architecture Predefined Libraries Programmatic High Speed Ingestion Analytical Data to cache In-Memory Data Grid In-DB Predictive Analytics 数据温度 Pivotal GemFire Pivotal Greenplum (Data Platform) Public Cloud Data Lakes GemFire 和 Greenplum 参考案例 – 反欺诈系统 GemFire Greenplum Spring Boot App Services Legacy Logic Implementation Logic Engine In-db Analytics 案例 - 某省移动实时区域人流计算分析 业务背景 旅游快速发展: 2015年国内旅游人数达到40亿人次，旅游业总收入4.13万亿元。预计2020年国内旅游人数将突破70亿人次，居民人均旅游次数将从目前不到3次提高到5次左右。 服务需要细化: 面对快速增长的旅游市场如何快速高效的管理，统计，分析各旅游景区的特色服务，来访游客，同期比对等数据为各景区提供高价值的信息服务是目前急需解决的问题。 案例 - 技术架构(改造前) 产品组合: Kafka + Storm + Redis+ Greenplum 问题: Redis 只能存储,不能计算, 需要使用其他服务器作为计算服务器 整体系统架构不是完全 HA 的架构, 不能避免单点故障 存放数据较快, 但是计算耗时严重, 不能应对计划内数据增长速度 案例 - 技术架构(改造后) 产品组合: Kafka + GemFire + GGC + Greenplum 特点: 整体系统架构是完整 HA 的架构, 避免单点故 GemFire 即可以作为数据存储平台, 支持并行计算可以作为数据计算平台, 计算性能高, 同时计算性能可以随着计算节点的增加线性增加, 满足未来的要求. 使用 GGC, 在 GemFire 和 Greenplum 之间的连接简单配置, 高速传递数据 案例 – 架构调整优化结果 数据量： 50万 ，最终2700万 计算频次： 目标5分钟一次 POC效果： 17秒分析50万数据 生产环境效果: 13秒分析50万数据 Scale your data services on demand to support high-performance, real-time apps Performance is key. Consistency is a MUST. GemFire Slogan Transforming How The World Builds Software © Copyright 2017 Pivotal Software, Inc. All rights Reserved.