高性能服务器架构设计和调优.pdfVIP

高性能服务器架构设计和调优 千石 Agenda Tuning Troubleshoong Design Device Device CPU Intel Core -2 Intel Sandybridge CPU Cache CPU Cache line Memory Controler UMA/NUMA UMA NUMA Mix architectures buffered io mmap direct io 10 硬盘到SSD 网卡收包 网卡多队列 网卡多队列绑定CPU Design 软件性能设计原则：不能成为硬件瓶颈 •  均衡使用CPU多核处理能力 •  高效合理地使用和控制内存 •  最大化磁盘IOPS和吞吐，异步化处理 •  小包跑满万兆网卡，中断平衡 CDN Cache系统模型 •  Net模块： 支持大并发，跑满万兆网卡 •  ACL模块： 高效匹配，减少CPU消耗 •  Store模块： 提高命中率，高效利用磁盘IOPS •  回源模块： L7-check，长连接保持 Net 模块 •  I/O模型 –  epoll + O_NONBLOCK •  TCP选项 –  TCP_DEFER_ACCEPT / TCP_SYNCNT –  TCP_CORK / TCP_NODELAY / TCP_QUICKACK •  收发包的方式 –  RSS, SMP_AFFNITY –  SO_REUSEPORT SO_REUSEPORT •  listen单个fd存在 accept竞争问题 •  SO_REUSEPORT listen多个fd ACL优化 •  squid根据 hp_access配置 的顺序依次比较 •  Swi将ACL按 domain建立一棵 Trie树 完美hash处理hp header •  完美hash （ Perfect Hash Funcon ） –  Hash table: key = value –  PHF将key集合没有冲突地映射到一组整数 –  查找key操作转换为索引整数表 •  PHF场景作用 –  适合在key集合确定或不经常更新的情况 –  主要作用是提高hash查找的速度 Store模块 •  DIRECT IO写裸盘、绕过FS、不使用page cache •  顺序写/ 随机读，stripe 8MB/block 512B •  mem_buf 在内存做写合并 •  省去open和close系统调用 多线程任务交互模型 TCmalloc管理内存 •  thread free list •