Tengine 淘宝开源 Web 服务器.pptxVIP

Tengine打造高效、稳定、安全、易用的平台姚伟斌（文景） 代讲朱照远（叔度） 2012-10-20大纲背景介绍应用案例分析开发与定制当前工作1、背景介绍Nginx简介Web服务器、HTTP反向代理和邮件代理服务器俄罗斯程序员Igor Sysoev于2002年开始全球使用量排名第三2011年成立商业公司特点性能非常高资源占用（CPU、内存）非常节省内存池设计，非常稳定高度模块化，易于扩展淘宝网使用Nginx的过程2009年开始使用和探索2010年开始开发大量模块通用的业务的2011年开始修改Nginx的核心代码启动/Tengine项目并开源2012年Apache全部替换为Tengine淘宝网应用Nginx的收益业务更加稳定Nginx大连接数目支持非常好Nginx本身的内存占用很少，不会吃swap业务性能更高QPS比Apache要好节省机器数目基于Nginx的模块性能往往是之前业务的数倍有效抵御DDOS攻击2、应用案例分析Web接入层LVS集群Nginx 组1Nginx 组2Nginx 组3App1App1App2App3App4App5Nginx的职能SSL卸载七层接入管理安全防御负载均衡灰度发布静态资源动态内容的静态化把所有能cache的内容都cache住主动删除cacheLVS集群Nginx 组1Nginx 组2Nginx 组3Cache checkerCache组1Cache组2Cache组3AppAppAppAppAppApp大用户群消息推送Comet服务架构部署容量60万连接/台运行数据30万连接/台日志收集与统计系统功能（可看成私有的Google Analytics）JavaScript埋点收集日志分析统计信息实现Nginx模块分布式传输系统Hadoop上运行MapReduce统计性能小几十台机器一天几十亿PV单机处理能力4万QPSRESTful接口层RESTful接口支持（准备开源）/TFS分布式文件系统，类似于GFS/Tair分布式K/V存储系统简化应用开发可返回JSON格式直接让浏览器处理从而不必在服务器端渲染页面分布式防攻击系统功能抵挡中小型的DDoS攻击可以封禁IP、Cookie限流提供验证码服务淘宝TMD（Taobao Missile Defense）系统Nginx作为防攻击系统的终端，实时发送日志给ServerTMD Server做策略分析TMD Console执行汇总和控制台TMD系统架构图Nginx Nginx Nginx Nginx TMD模块TMD模块TMD模块TMD模块TMD ServerTMD ServerTMD Console3、开发与定制动态加载模块Nginx核心代码静态编译功能模块动态编译成so文件./dso_tool --add-module=/path/to/lua-nginx-module好处核心模块跟功能模块去耦合，不必一起编译对于包管理系统来说，不再需要N多包修正某个模块，只需编译相应模块动态加载模块使用使用方法dso { load ngx_http_lua_module.so; load ngx_http_memcached_module.so;}动态库比静态代码性能差？Wangbin：ngx_lua模块思想引进动态脚本语言LuaLua语言强大且简单适合嵌入支持协程（coroutine）价值用同步的语义来实现异步的调用ngx_lua原理每个Nginx工作进程使用一个Lua VM，工作进程内所有协程共享VM每个外部请求都由一个Lua协程处理，协程之间数据隔离Lua代码调用I/O操作接口时，若该操作无法立刻完成，则打断相关协程的运行并保护上下文数据I/O操作完成时还原相关协程上下文数据并继续运行ngx_lua原理代码示例location /http_client { proxy_pass $arg_url;}location /web_iconv { content_by_lua local from, to, url = ngx.var.arg_f, ngx.var.arg_t, ngx.var.arg_u local iconv = require iconv local cd = iconv.new(to or utf8, from or gbk) local res = ngx.location.capture(/http_client?url= .. url) if res.status == 200 then local ostr, err = cd:iconv(res.body) ngx.print(ostr) else ngx.say(error occured: rc= .. res.status) end ;}组合JavaScript和CSS文件Yah