tair与redis分析.docxVIP

1. Tair总述 1.1 系统架构 一个Tair集群主要包括3个必选模块：configserver、dataserver和client，一个可选模块：invalidserver。通常情况下，一个集群中包含2台configserver及多台dataServer。两台configserver互为主备并通过维护和dataserver之间的心跳获知集群中存活可用的dataserver，构建数据在集群中的分布信息（对照表）。dataserver负责数据的存储，并按照configserver的指示完成数据的复制和迁移工作。client在启动的时候，从configserver获取数据分布信息，根据数据分布信息和相应的dataserver交互完成用户的请求。invalidserver主要负责对等集群的删除和隐藏操作，保证对等集群的数据一致。 从架构上看，configserver的角色类似于传统应用系统的中心节点，整个集群服务依赖于configserver的正常工作。但实际上相对来说，tair的configserver是非常轻量级的，当正在工作的服务器宕机的时候另外一台会在秒级别时间内自动接管。而且，如果出现两台服务器同时宕机的最恶劣情况，只要应用服务器没有新的变化， tair依然服务正常。而有了configserver这个中心节点，带来的好处就是应用在使用的时候只需要配置configserver的地址（现在可以直接配置Diamond key），而不需要知道内部节点的情况。 1.1.1 ConfigServer的功能 1) 通过维护和dataserver心跳来获知集群中存活节点的信息 2) 根据存活节点的信息来构建数据在集群中的分布表。 3) 提供数据分布表的查询服务。 4) 调度dataserver之间的数据迁移、复制。 1.1.2 DataServer的功能 1) 提供存储引擎 2) 接受client的put/get/remove等操作 3) 执行数据迁移，复制等 4) 插件：在接受请求的时候处理一些自定义功能 5) 访问统计 1.1.3 InvalidServer的功能 1) 接收来自client的invalid/hide等请求后，对属于同一组的集群（双机房独立集群部署方式）做delete/hide操作，保证同一组集群的一致。 2) 集群断网之后的，脏数据清理。 3) 访问统计。 1.1.4 client的功能 1) 在应用端提供访问Tair集群的接口。 2) 更新并缓存数据分布表和invalidserver地址等。 3) LocalCache，避免过热数据访问影响tair集群服务。 4) 流控 2.tair的使用场景 2.1 tair 的使用场景 2.1.1 Tair缓存使用的场景 数据可以以key/value的形式存储 数据可以接受丢失 访问速度要求很高 单个数据大小不是很大，一般在KB级别 数据量很大，并且有较大的增长可能性 数据更新不频繁 2.1.2 Tair持久化适用的场景 数据可以以key/value的形式存储 数据需要持久化 数据量很大，并且有较大的增长可能性 单个数据大小不是很大，一般在KB级别 数据的读写比例较高 2.2 不适Tair用的场景 1.对数据有查询需求，比如对key的模糊查询，或者根据value反查询key等 2.单条数据很大 3.读写比例很低 3.tair与redis关系 3.1 功能对比 产品比较项 TairREDIS开源情况完全开源完全开源使用语言服务器端C++；客户端支持C、JAVA、PHP等ANSI C语言编写 ，提供多种语言(C/C++/JAVA/PHP等)的API 分布式支持目前redis的3.0已经支持分布式式，特点是主从的方式支持即主从库方式添加代理进行管理。3.0版本处于测试版集群支持不支持,3.0测试版支持动态扩展支持不支持,3.0测试版支持持久化可配，fdb方式实现持久化支持，快照及aof方式都支持效率mdb 较高，fdb稍次较高容错支持，数据在写入主节点后，会异步同步到辅节点；如果主节点不可用，则辅节点会自动接管为主节点；当有节点不可用时，能自动复制数据，保证数据的备份数。支持，主从节点互为备份缓存过期移除策略支持支持缓存数据方式持久化和非持久化两种，前者和memcached类似的缓存数据方式。支持，一是 key/value,一是关系数据库。吞吐量每秒高达66000次（mdb）,fdb时，吞吐量减半每秒高达60000次KEY/VALUEkey :1024个字符;value: 1M个字节。key :254个字符;value: 高达1G个