[服务器架构及memcached部署中一致性Hash的应用]解说.pptVIP

memcached在分布式系统架构中的应用 Ideas Realized with ADN memcached在分布式系统架构中的应用 Ideas Realized with ADN 固定机器数量时，保证对相同key的访问会被发送到相同的服务器 一致性Hash算法 分布式架构中，节点的故障是不可避免的，当添加和删除某一节点时，会导致大量散列数据失效，需要重新散列。这意味着这些丢失的数据要去数据库中请求一次以后才能按照hash(key) /服务器数 =服务器编号 重新散列缓存到对应的服务器上。这对于高访问量的系统来讲影响是非常大的。 人们采用一致性Hash来解决此类问题 Ideas Realized with ADN 一致性Hash算法增删服务器后的命中率测试 测试随机生成的众多key是否会平均分布到各个结点上测试结果如下:? Ideas Realized with ADN ?节点增删测试:在环上插入N个结点，每个节点50个虚拟结点。随机生成众多key，在增删节点时，测试同一个key选择相同节点的概率，测试如果如下: Ideas Realized with ADN * * /genson/archive/2009/10/22/1587836.html * * 如何保持状态信息的同步？ 正常考虑的方案有写入数据库、开启状态服务器、cookie、写入缓存等。 如何保持数据缓存信息的同步？ 缓存服务器 如何让上传文件这些类似的功能继续正常？ 采用文件服务器统一管理 * * * * * * * * * Audio quality (and recording) /Nginx#.E5.AE.89.E8.A3.85nginx * ? 2005 Autodesk Ideas Realized with ADN * ? 2005 Autodesk * * Autodesk Presentation Title ? 2005 Autodesk * ? 2005 Autodesk * ? 2005 Autodesk * ? 2005 Autodesk * ? 2005 Autodesk * 网站服务器架构 分布式存储memcached 提纲 硬件架构 服务器划分 带宽的计算 2 . 网站架构的演变过程 3. 软件架构 Web服务器集群负载均衡 分布式缓存 CDN内容分发系统 数据库集群 NoSql - key-value存储 2 服务器划分 对于访问量大的网站而言，将网站的各个部分拆分分别部署到不同服务器上是很有必要的。例如将图片和web站点分开一般而言，在网站的整个服务器部署上分为如下几种类型： 文件服务器：一般存储系统的相关图片和文件，给各个子系统提供统一的文件调用 代理服务器：一般使用linux+Nginx作为反向代理 web服务器：.net中最常用的Web服务器IIS，Mono中一般使用Nginx 应用服务器：负责系统中各个业务逻辑的提供，比如用户中心，结算中心，支付中心等 缓存服务器：提供MemCached缓存服务 数据库服务器：负责网站数据的提供，一般为Sqlserver,mysql,oracle等 3 带宽的计算 假设网站每天要承受100万pv的访问量，计算带宽要涉及到两个指标(峰值流量和页面平均大小),带宽单位为bps(bit/s)。 1、假设峰值流量为平均流量的5倍； 2、假设每次访问的平均页面大小为100KB左右。 1B=8b---------------------1B/s=8b/s(1Bps=8bps) 1KB=1024B ------------- 1KB/s=1024B/s 1MB=1024KB------------1Mps=1024KB/s 100万pv访问量一天平均分布，折合每秒大约访问12次，页面大小为字节(Byte),总共访问页面大小就是12*100KB=1200KB,1Byte=8bit,则1200KB=9600Kb，9600Kb/1024大约9Mb/s(9Mbps)，我们网站在峰值流量时一定要保持正常访问，则真实带宽应该在9M*5=45Mbps左右。 4 网站架构的演变过程之一 5 公司刚刚起步，业务量不大，往往可能在某个虚拟主机空间商租用一个虚拟主机和一个数据库就搭建了一个最基本的网站 网站架构的演变过程之二增加缓存 随着业务量增加，用户的访问越来越多，网站经常性的打不开，慢，甚至出现数据库链接达到最大限制数，这个时候需要针对网站做一些优化策略： 减少Http请求，压缩css，js，图片的大小 将Microsoft Ajax Minifier集成到VS2