GemFire如何应对电商或移动APP平台的高负载挑战.pdf

GemFire如何应对电商或移动APP平台的高负载挑战 议题 • 拆分应用互联数据 • Web Server与GemFire进行集成 • Memcached、Redis与GemFire进行集成 • GemFire利用HDFS进行日志保存和处理 大规模扩展分布式缓存系统 借用FaceBook 的架构方式， 将页面的访问 进行拆分，保 存数据到多个 缓存集群中 应用间互联数据 • 拆分主页和其他页面的点击访问 • 数据不保存在单台服务器上，保存于多台服务器集群中 • 跨所有集群的服务器快速拉取数据到前端页面 应用大并发查询数据 • 为了在数据并发操作的情况下获得良好的性能，需要并行地转发 get请求 • 切换到异步 I/O 进行访问 • 不同的Object有不同的大小和访问方式。构建memcached pools拆 分不同的objects类型，达到高效的内存利用率 解决前端连接拥塞问题 • web服务器连接到memcache服务器 • 每个web 服务器运行50-100个进程 • 每个memcache有100K+ TCP 连接(UDP 能够减少连接数量) •使用gzcompress压缩序列化的字符串 Web Server 与GemFire 集成 1. GemFire采用C/S架构与Web Server进行交互，将GemFire客户端嵌入到 Web Server中，Web App 从GemFire客户端读写数据，然后客户端将读写 操作同步给GemFire Server Web服务器 + GemFire客户端 GemFire服务器 Web Server 与GemFire 集成 2.GemFire 客户端通过协调器来连接合适的GemFire服务器，当建立连接 之后，客户端便可以直接与服务器进行交互 Web服务器 + GemFire客户端 GemFire协调器 GemFire服务器 Web Server 与GemFire 集成 3.GemFire 协调器采用HA高可用架构，防止协调器宕机导致客户端与服务器之间连接出现故 障，GemFire集群整体架构如下： Web服务器 Web服务器 Web服务器 Web服务器 + + + + GemFire 客户端 GemFire 客户端 GemFire 客户端 GemFire 客户端 GemFire 协调器 GemFire 协调器 GemFire服务器 GemFire 服务器 GemFire 服务器 GemFire 服务器 集中式数据库 Memcached大规模集群扩展 § 传统memcache分布式集群主要靠客户端程序库实现，”服务端”没有分 布式 § 当memcache集群环境发生变化时，如加入、离开节点会严重影响缓存 的命中率 PHP APP PHP APP PHP APP Magent使用一致性哈希 Magent 分配值到memcach