大型电子商务平台基础架构探讨.docx

大型电子商务平台基础架构探讨随着交易规模的不断升级，电子商务平台基础架构和软件架构都需要逐步升级。升级过程是渐进的，逐步的，持续的过程。并且，升级的过程中，各种风险也是很大的，比如基础架构设计时是否能够遇见到一段时间后的平台数据流量。而不至于刚刚升级后，又要升级。导致浪费时间，人力，物力，财力等。电子商务平台基础架构首先要满足软件层面的要求，其次要满足稳定性，可用性要求，最后最重要的是满足安全性要求。由于我没有管理过年销售额超200亿的电子商务运维部门，也没有在这样的公司工作过。我只能根据我的经验，加上同行的经验交流，管中窥豹，在此探讨一下年交易额超200亿的电子商务基础架构。首先进行数据分析。200亿销售额，其中大约20%是由团购和秒杀完成的。另外，一天中，主要订单高峰最多8个小时。所以，我们可以计算得出（秒杀和团购平台另外讨论）：200*80%/365(天)/8（小时）/60（分钟）/60（秒）/260(客单价)=5.8单/秒一天的订单量是：167040单，即16.7万单。5.8单/秒的订单数，我们目前的电子商务平台也可以完全满足，并且还有很多富余。那是不是我们的平台就可以满足年销售额200亿呢？其实业界有个计算方法，即转化率。一般在2%-3%之间。表示每100个在线人数中，会有2-3个人下单。由此可以出，5.8/2.5%*60*60*8=6681600人，即668万人。即如果完成一天16.7万单交易，则需要最少668万人登录到我们的平台上。一天之中，登录高峰一般在3个小时，占总人数的60%，即400万。高峰人数约为130万人同时在线。最高并发大约在130*30%=40万。注册人数和在线人数的比例大约为：3%-10%左右。即注册人数最少要4000万。由此可见，如果要实现年销售额为200亿元，需要注册用户最少4000万人。我们使用表格来说明一下：项目数据注册人数最少4000万最高同时在线人数130万最高并发40万/秒订单数/秒5.8单一天订单16.7万一天的营业额4343万一天的PV3.3亿一天的UV668万从上面的信息，可以粗略的计算出需要多少硬件设备：根据目前的网页内容大小是300KB（不包括图片）。则需要网络带宽为300KB*40万=1200万KB=27465G=27.5G带宽。预留30%带宽，即40G带宽。电信机房最高单条线路接口带宽为10G，故需要最少4台万兆级防火墙。考虑到冗余性，最少需要8台万兆级防火墙。防火墙后面是负载均衡设备，最高需要处理2万个PV/S，考虑到冗余性，最少需要8台万兆级负载均衡设备。负载均衡设备后面是缓存层，一台缓存服务器可以处理大约10000个并发请求，故需要40台服务器，考虑到20%的预留处理能力，共需50台服务器。接下来，用户的访问请求就到达网站服务器，目前一个网站服务器可以处理1000用户并发，共需要网站服务器400台。考虑到20%的预留处理能力，共需要500台网站服务器。为了实现数据库的读写分离，大量的订单对数据库是巨大的考验。一个订单，需要对数据库进行5次更新操作。所以总5.8*5=30次/S。考虑到冗余性，共需两台订单主数据库服务器。另外，为了统计页面访问，每个页面被访问后，都需要更新数据一次。所以页面更新对数据库的压力为：40万*1=40万次/S。目前一台服务器的可以支持5000次/S,所以，共需80台页面统计数据库服务器。用户浏览网页时，一般有20%的内容不在缓存中，需要查询数据库。所以40万*20%=8万次/s. 一台数据库服务器可以提供1万次查询/S。故需要最少8台读数据库。保留20%的冗余，故最少需要10台用户交易数据查询服务器。用户下单后，一般都会查看用户中心查看订单信息。这里没有参考数据，无法估算最高峰时有多少用户同时查看用户中心。如果按照最高并发40万/S查看用户中心，则最少需要40台数据库服务器才能满足需求。在大型网站中，都采用分布式部署。尽量把各种服务都按照功能进行区域划分。比如卖家入口，后台订单管理，物流接口，用户中心，历史订单信息，订单快照等等。划分的非常细。另外，用于管理的服务器也非常之多。预计这些总共加起来最少需要200台服务器。网络设备就很难统计了。只能根据服务器的数量进行预估。另外，每天产生的数据，大约120G左右，故一年需要的存储空间43TB。为了分析用户行为，我们还需要有专门的数据分析部门，进行大数据分析。需要高性能服务器。下面用表简单罗列一下各项需求：项目需求入侵检测1套防火墙最少8台万兆防火墙负载均衡最少8台万兆负载均衡设备缓存服务器最少50台网页服务器最少500台订单数据库最少2台页面统计服务器最少80台用户查询数据库最少10台用户中心数据库最少10台细分服务器和管理服务器最少200台存储53TB核心交换机最少8台（万兆级）接入层交换机