GearMAN讲解和所带来的变革.pdfVIP

Gearman 博升优势徐长龙 xucl@B 此PPT 内图片均来自互联网 此PPT 介绍内容如下 • 举个现实中的例子( 改了栗子俩字) • Gearman 最刜用途 • 功能特性 • 性能特征 • 使用方法 • 部署 • 系统架构带来的变革 使用Gearman 的技术公司 • Yahoo • SAE • Digg • 金山 • 百度 • 新浪 引言- 现实中的例子 • 当任务很多时需要分配 • 分配规则： • 1.承接人不是很忙 • 2. 任务在工作范围内 • 3. 在位置上（非离线） • 完成任务报告结果 • 或完成任务无需回馈 • Gearman 主要做了上面的 三件事，分配任务，承 接任务，抓取任务 Gearman 的起家 • 右图为刚开始时用途 • 原用于图片的resize • 图片的resize 很耗时 • 遂做成同步/ 异步服务 • 由PHP 把原始文件保存 • 由PHP 分配任务给Job 服务 • 由job 分发任务给worker • Work 接受到任务并工作 • 完成任务报告 功能特性 • 多方式：支持PHP ，Java ，Python ，数据库，及http 通讯 • 持久化：异步任务支持扩展持久化 • 多线程：并发处理请求 • 服务之间通讯使用TCP ，比HTTP 请求节省系统资源 • 接入及部署简单，接入简单，开发简单 • 负载均衡，自动根据工作量迚行均衡 • 稳定：个别服务器死机可自动使用其他冗余节点 • 可代理转发任务到其他Job 服务器 • 下发任务可以通过优先级决定执行顺序 性能 • 以下测试数值为虚拟机 • 常规HTTP 的Curl ：这个受端口最大值及打开文件句柄数限制 • 当使用HTTP Curl 时 • 同步：2000/sec • Gearman ：未优化情况下 • 用PHP+gearman 揑件测试并发批量调用： • 同步：4000/sec • 异步：10000/sec • 以上还有上升空间，官方测试数据为5w/sec • 增加持久化揑件设置后性能会下降一些 单机实测性能 测试项 环境 平均请求/ 秒 HTTP 压力AB AB-Nginx 100并发 单个html 页面http 请求 10000 req/sec 单个PHP页面http 请求 2844 req/sec 上面测试占用大量端口钱 PHP 命令行 PHP Cli-Gearmand-PHP Worker- 随机数 单线程 - 异步 单个50 字节消息 11111 req/sec - 同步 单个50 字节消息 4545 req/sec - 多任务 取决于单个任务执行最大时间 上面测试不会占用大量端口，速度很快，load 1.5 综合测 ab-Nginx-PHP-fpm-Gearmand-PHP Worker 100并发 异步 1885 req/sec 同步 1581 req/sec