wj resume精通PHP以FinagleScribe为主大型Web系统架构.pdfVIP

姓 名： 王剑 性 别： 男 出⽣年⽉： 1988-10 籍 贯： 天津 婚姻状况： 未婚 电 话： \ 技能 精通PHP ；以Finagle ，Scribe为主⼤型Web系统架构。 精通Fastdfs分布式存储；Imagemagick图像处理。 熟练掌握C++ ，Lua ，数据结构与算法，软件⼯程项⺫管理。 技术职称T5 。（T6及以上总计12⼈） ⼯作 • 赶集⺴－基础架构部 — 2011 〜⾄今 负责 亿级流量HTTP路由DonkeyProxy ，类似Soaproxy。 负责分布式存储系统；负责图像系统，涵盖图像变换，图像识别。 负责⼿机赶集基础架构，核⼼模块研发。 项⽬经验 • 创新项⺫（DONKEY_PROXY ） Tenginx+Lua+Pcre ，关键字：灰度发布，Cookie审核 时间：2015-3-⾄今 1. 项⽬描述： DK获公司15年重点项⽬⽀持。因整个Web层耦合⾼,畸形发展，决定将 Web层按照事业群 拆分。⽽DK是Tenginx(Openresty)+Lua结合产品,通过智能库来分析流量特征,继⽽将流量代理⾄后 端。 2. 技术细节: 对Uri 、分类信息特征值等多维度信息，依靠词表穷举及规则解析等识别算法进⾏分析，标 ⽰流量特征；实现类似Upstream负载均衡策略，主要通过Lua创建过滤⽹，审核Cookie ，Xss等敏 感信息，同时在此层引⼊防爬⾍机制；⽣产环境实现灰度发布，植⼊Trackid划分AB扇区。通过 集群分组，端⼜等⽅式进⾏鲁棒控制。 • 分布式系统（负责⼈） Imagemagick、Fastdfs、Thrift 、Kestrel 时间：2013-8-⾄今 技术细节 赶集整体拓扑结构分动态，缓存，存储三层。缩略图实时⽣成，灵活⾼效。使⽤Haproxy 负载，将原图与缩略图调度同⼀组ImageWeb ；缓存分两级，LevelDB(C++)和本地原图缓存，前 者在⽂件定位时内存Hash算法进⾏索引，⽤LSM树算法顺序Append写⼊磁盘；分布式存储系统 结合开源Fastdfs及⾃主模块搭建，后期因冷热数据不均，以Fastdfs为主，Amazon S3为从重新构 建。主从双⽅依靠Kestrel队列同步。
 赶集整体 容量900TB(0.9PB) ，已经占⽤空间680TB(0.68PB) ，单机⽀持随机IOPS 300+ ，流量25MBps 。多元化缩略图需求衍⽣多种交叉需求，如质量，⽔印，缓存等。图⽚动态 ⽣成(PHP Imagick)依照Imagemagick进⾏架构，实现参数化功能订制，提供Http、Thrift、 MessageQueue等接⼜。 • WAP 站基础平台架构 Finagle、Smarty、Scribe、Mysql 1. 项⽬描述 主要负责⼿机赶集⽹平台架构。其检索系统利⽤Finagle调度，帖⼦详情依靠中间件Mysql- 获取，其中Mysql- ⽀持帖⼦索引、帖⼦缓存与归档。 主要创新研发：1，平台适配桥。解决平台化内容呈现。设计Pc2Wap ，Wap2App两组平台 Bridge 。原理是通过分类信息特⾊，归纳平台间共性，分离Data/View层，改善不同设备体验效 果。通过Useragent 、Urlschema为不同 来源⽤户展⽰相适配内容，极⼤改善Html5、Css3特效 体验。2 ，⼿机UserAgent智能库，以Wurfl原型构建赶集Ua库，主要通过Ua命名风格进⾏建模， 编写机器学习模块； 2. 成绩与 核⼼模块模块承担75%流量；获2014年Q3季度S级，2013年年度S级。 教