网络存储技术结课报告.docVIP

第1章 从淘宝网技术发展浅谈其成功与经验教训 1 1.1 引言 1 1.2 淘宝网浅谈 1 1.2.1 个人网站 1 1.2.2 Java时代 3 1.2.3 创造技术 3 1.2.4 分布式时代 4 1.2.5 中间件 5 1.2.6 Session框架 5 1.2.7 开放平台 6 1.3 总结 6 第2章 大型云存储中心设计 7 2.1 引言 7 2.2 云存储中心设计 7 2.2.1 Hadoop平台 7 Hadoop分布式文件系统 8 MapReduce编程 9 Hbase分布式数据库 10 2.2.2 文件系统的设计 12 2.2.3文件块存储策略及副本策略设计 13 2.2.4 文件块更新算法设计 14 2.2.5事务故障恢复系统设计 17 2.2.6 目录存储与负载均衡设计 17 2.3 总结 18 参考文献 18 第1章 从淘宝网技术发展浅谈其成功与经验教训 1.1 引言 至2011年年底，淘宝网拥有全国最大的Hadoop分布式计算集群之一，日新增数据50TB，有40PB海量数据存储，分布在全国各地80多个节点的CDN网络，支撑的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索，另外，还拥有自主研发的文件存储系统和缓存系统，以及Java中间件和消息中间件系统，这一切组成了一个庞大的电子商务操作系统。从商业数据上看，mazon的财报显示2011年完成了大约 480亿美元的交易额，eBay的2011年财报显示全年完成了大约600亿美元的交易额（不包括其独立的汽车交易平台）。无论从交易额、商品数量还是从同比增速等指标上看，淘宝网均远超于此，是目前全球最大的电子商务平台。如今淘宝网的流量已经是全球排名第12、国内排名第3）。淘宝网的系统也从使用一台服务器，到采用万台以上的服务器。淘宝网在整个发展过程中，经历了许多主动和被动的技术变革，笔者将根据这些浅谈淘宝系统的成功及经验教训。 1.2 淘宝网浅谈 本节中，笔者将淘宝的技术发展分为个人网站、Java时代、创造技术、分布式时代、中间件、Session框架、开放平台等七个阶段，并就每个阶段展开分析，浅谈淘宝系统的成功与经验教训。 1.2.1 个人网站 2003年4月7日，马云在杭州成立了淘宝网，这个创业团队的成员：三个开发工程师、一个UED工程师、三个运营工程师、一个经理，以及马云和他的秘书。他们买了这样一个架构的网站：LAMP（Linux+Apache+MySQL+PHP），这个直到现在还是一个很常用的网站架构模型，其优点是：无须编译，发布快速，PHP语言功能强大，能做从页面渲染到数据访问所有的事情，而且用到的技术都是开源、免费的。他们对这个网站进行了很多本地化的修改，其中最有技术含量的是对数据库进行了一个修改，原来是从一个数据库进行所有的读写操作，现在把它拆分成一个主库、两个从库，并且读写分离。这么做的好处有几点：存储容量增加了，有了备份，使得安全性增加了，读写分离使得读写效率得以提升。 在接下来的大半年时间里，这个网站迅速显示出了它的生机。随着用户需求和流量的不断增长，系统做了很多日常改进，服务器由最初的一台变成了三台，一台负责发送Email、一台负责运行数据库、一台负责运行WebApp。一段时间之后，商品搜索的功能占用数据库资源太大了，2003年7月，又把阿里巴巴中文站的搜索引擎iSearch搬了过来。随着访问量和数据量的飞速上涨，问题很快就出来了，第一个问题出现在数据库上。MySQL当时是第4版的，淘宝用的是默认的存储引擎MyISAM，这种存储引擎在写数据的时候会把表锁住。当Master同步数据到Slave的时候，会引起Slave写，这样在Slave的读操作都要等待。还有一点是会发生Slave上的主键冲突，经常会导致同步停止，这样，发布的一些东西明明已经成功了，但就是查询不到。另外，当年的MySQL不比如今的MySQL，在数据的容量和安全性方面也有很多先天的不足，于是把MySQL换成Oracle就成了顺理成章的事情。 数据一开始是放在本地的，淘宝对Oracle做调优的工作，也对SQL进行调优。后来数据量变大后，本地存储无法满足了，就买了NAS，NetApp的NAS作为数据库的存储设备，加上Oracle RAC来实现负载均衡。在把数据的连接放在SQL Relay之后，这个代理服务经常会死锁，如同之前的MySQL死锁一样。虽然做了很多修改，但当时那个版本内部处理的逻辑不对，问题很多，最快的解决办法就是“重启”它的服务。 在2003年10月，淘宝网上线了一个功能，叫做“安全交易”，卖家如果选择支持这种功能，买家就会把钱交给淘宝网，等他收到货之后，淘宝网再把钱给卖家，这就是现在的“支付宝”。 一年之后，几乎所有的