图片网站架构.docVIP

秀萌网（）是现在增长最快的网站之一，秀萌网以图片为主题，为用户提供了一个展示和交流的平台，并选定“萌”为主元素，得到了年轻用户的青睐。除此之外其后台技术也是网站成功的主要原因，图片网站数据量大，服务器负载高，需要通过云计算、CDN等技术增强网站响应能力。 （1）物理服务器 平台中物理服务器采用普通商用服务器，用交换机连接成机架式集群结构，为了提高系统可靠性，不同机架采用独立电源供电。 （2）分布式文件系统 分布式文件系统（DFS）是存储系统的基础，它将所有物理服务器硬盘虚拟化为一个巨大容量的硬盘，支持超大型文件的存储。DFS采用数据块存储机制，同一个文件的数据分成多个设定大小的数据块，扩散到整个物理服务器集群中，同时以数据块为粒度进行数据备份，以增强数据可靠性。DFS具有数据自动管理能力，监控所有服务器的运行状态，当出现服务器down机情况时将受影响的数据块副本数恢复到正常状态。DFS具有良好的负载均衡能力，保证各服务器存储负担达到均衡状态，当有新服务器加入时，DFS能够快速检测到新服务器，将其纳入资源池中，并使新服务器存储负担尽快达到均衡状态。DFS对外提供良好的接口，可以让外部软件像访问本地文件系统一样访问DFS。为适应图片存储，DFS需要对文件和数据块元数据进行重新设计，减少元数据量，以便将元数据完全存储在内存中，达到访问图片时只需要一次磁盘IO，提高图片访问速度。 （3）分布式NoSQL数据库 NoSQL数据库是一个轻量级的数据库，具有传统数据库没有的特点，如数据插入速度快，可以存储超大规模记录数表（几亿或几十亿条记录）等。NOSQL数据库采用key-value存储结构，key和value都是二进制流形式，因此可以用来存储各种对象数据。数据库建立对key的索引，通过key查询数据时效率很高。同时NoSQL数据采用基于列存储的形式，当取区域数据时，具有更好的效率。分布式NoSQL数据库将单表拆分成多个数据区段，分布到多台服务器上，客户端对数据的插入和查询操作都定位到具体服务器上执行，数据交互直接在客户端和具体服务器之间进行，充分分散客户端的请求负载，达到高数据吞吐率。 平台采用分布式NoSQL数据库存储图片入口信息和日志记录，为简化数据一致性，最新的图片也将以二进制形式首先存储到分布式NoSQL数据库，后台操作定时将超过设定时间的图片从NoSQL数据库中取出，以文件形式压缩存储到分布式文件系统，在NoSQL数据库中记录响应图片入口信息。 （4）分布式计算架构 分布式计算架构可以对分布式NoSQL数据库的数据和分布式文件系统上的数据进行分布式计算处理，通过高度的并行计算能力有效减少处理时间。 分布式计算架构将用来对日志进行深入挖掘，提供用户分析结果和为用户提供推荐图片。同时分布式计算架构还将用于生成索引以及定期调整NoSQL数据库中数据一致性，前者可以提高对特定数据的检索速度，后者则保证分布式NoSQL的数据处于一致状态。 （5）Cache Cache用来存储热点图片，提高访问速度。图片容易形成访问热点，因此热点图片数据将被缓存于Cache中。cache图片则根据替换策略进行换入换出。 分布式Cache使Cache容量突破单台服务器的内容限制，同时将不同的图片命中在不同的Cache上可以分散网络传输负担。