第129期：流量从1到10亿-58同城技术创新与演进-沈剑-20140324.pdf

流量从1到10亿 58同城技术创新与演进 沈剑（shenjian@58.com ） 关于-本次讲座 • 同学们的诉求 （1 ）了解互联网行业？生活分类信息行业？ （2 ）了解高并发，大数据站点应用架构技术？ （3 ）找个工作机会/ 实习机会？ （4 ）认识一下帅气的师兄，寻一个签名合影的机会？ • 本次讲座 （1 ）站点应用技术点+解决斱案 （2 ）58同城技术创新与演进 关于-58同城 • 互联网发展 （1 ）门户时代（2 ）搜索时代 （3 ）社交，电商（4 ）NEXT ？ • 互联网下一个浪潮之巅 （1 ）无线？（2 ）生活分类信息？ （3 ）互联网金融？（4 ）智能穿戴？ • 58同城 （1 ）杨幂？（2 ）一个神奇的网站？ 关于-我 • 缘起 • 关于-我（@58沈剑） （1 ）华中科技大学第一届信息安全毕业生 （2 ）58同城高级架构师，技术委员会主席，优秀讲师 （3 ）velocity ，架构师大会，top100summit演讲嘉宾 应用需求决定技术斱案 需求推动创新 目录 • 建站之初-流量10w • 流量100w+ • 流量1000w+ • 流量1y+ • 流量10y+ • 总结 一、建站之初10w流量 需求是什么 • 需求 （1 ）有个能看的见的网站就踏实了 • 特点 （1 ）请求量低（ 10w ） （2 ）数据量小（10w ） （3 ）代码量小 （4 ）1台机器 架构-ALL IN ONE • 架构图 • 架构特点 （1 ）单机系统（all in one ） （2 ）程序耦合（all in one ） （3 ）逻辑核心是CURD • 主要矛盾 （1 ）CURD繁琐且容易出错 如何解决CURD频繁出错？ 创新 • DAO （1 ）Data Access Object （2 ）像访问对象一样访问数据 • ORM （1 ）Object Relation Mapping （2 ）简化数据库查询过程 二、100w流量 需求是什么 • 需求 （1 ）网站能够正常访问 （2 ）如果访问速度能快点就最好了 • 特点 （1 ）压力导致经常宕机 （2 ）数据库成为瓶颈啦 （3 ）人多的时候访问会卡 （4 ）10+台机器 架构-分布式 • 架构图 • 架构特点 （1 ）分布式系统 （2 ）动静分离 （3 ）读写分离（主从同步） • 主要矛盾 （1 ）站点耦合 （2 ）读写延时 如何解决站点耦合？ 业务-垂直拆分 • 业务垂直拆分 架构-垂直拆分 • 架构图 • 架构特点 （1 ）站点垂直划分 （2 ）数据库垂直划分 （3 ）代码垂直划分 • 主要矛盾缓解 （1 ）站点耦合= 解耦 （2 ）读写延时= 解耦 创新 • CDN （1 ）Content Delivery Network （2 ）斯塔尔报告 （3 ）数据缓存+ 就近访问 • MVC （1 ）Model View Controller （2 ）架构进一步分层，人员进一步分工 三、1000w 需求是什么 • 需求 （1 ）垂直业务也不能挂 （2 ）业务爆发-快速实现 （3 ）业务依赖-子系统依赖关系复杂 • 特点 （1 ）站点数激增 （2 ）数据量激增 （4 ）100台机器 架构-高可用 • 架构图 • 架构特点 （1 ）进一步垂直拆分 （2 ）分层抽象 （3 ）服务化 （4 ）水平拆分 • 主要矛盾 （1 ）新增站点代价高 （2 ）新增服务代价高 创新-反向代理 • 如何高可用？ • 代理 • 反向代理 • 智能DNS 创新-58开源的开发框架 • 如何降低站点开发成本？ （1 ）58同城web框架 （2 ）/58code/Argo • 如何降低服务开发成本？ （1 ）58同城服务框架 （2 ）/58code/Gaea 创新-实时化 • 用户与商户的沟通实时化– 引入即时通讯系统 （1 ）传统沟通模式？ （2 ）PC/web/APP/M版–全面即时通讯 • 用户信息搜索的实时化– 引入实时搜索系统 （1 ）传统搜索引擎 （2 ）实时搜索