深入单机性能极限_diogin.pdf

深⼊单机性能极限 /about • 张景埕，@diogin • 原360⼯程师，服务端技术委员会委员 • 现百⻋宝技术中⼼总经理 • 杂⾷程序猿 业余性能爱好者 Linux性能…… ⼀、硬件和软件特征 服务器硬件特征 1. 所有组件都越来越⽜X ，组件的个数越来越多 (Scalability) 2. CPU ：QPI, NUMA, 超线程, Turbo Boost, 深度流⽔ 线, 多级缓存(数据,指令,TLB), ⾼级指令 3. 内存：DDR4, ECC 4. 存储：PCI-E SSD(⾼效主控, MLC/SLC), SAS HDD 5. ⺴络：PCI-E, 10Gbps 6. 各级 Cache 和Buffer 潜在的硬件瓶颈 • CPU使⽤率(指令, I/O等待, 软硬中断, 上下⽂切换) • 内存容量及频率 • 存储总线带宽和频率(SATA, SAS, PCI-E)、设备的 IOPS(随机I/O、顺序I/O、平均I/O ，HDD ，SSD) • ⺴卡中断不均衡、吞吐量、总线带宽、⺴络带宽 服务器硬件极限 • CPU所有核⼼都100%忙于处理指令（⽤户态或核⼼ 态）、中断（软中断和硬中断）、等待I/O或进⾏上 下⽂切换 • 全部物理内存帧均已保留或映射并标为cache ， swap到存储的部分也全满 • 存储总线带宽吃满或IOPS达到上限值 • ⺴卡中断吃满CPU或开始丢包或带宽吃满 服务器软件特征 • 内核优化⼒度⼤，同时可调性⾮常⾼ • CPU密集、I/O密集，⽤户CPU/内核CPU • ⾼并发＋并⾏、线程CPU绑定、⾼级指令的使⽤ • ⾮阻塞I/O、异步I/O、事件通知 • 贯穿各级的 Cache 和 Buffer • 内存拷⻉最少化、指令数最少化 • 对⺴络栈特性的深⼊利⽤（慢启动、no_delay等） • JIT技术可以得到⽐静态代码更⾼效的性能 潜在的软件瓶颈 • 驱动程序性能不够⾼，不⽀持⾼级特性 • 内核版本低，缺乏⾼级特性 • ⽂件系统在部分特定⽤法下性能很差 • 使⽤的语⾔环境运⾏效率不⾼ • 服务器模型扩展性差，浪费现象严重 • ⺴络协议栈调整得不好，导致⺴络并发上不去 服务器软件极限 • 内核施加各种限制 • 进程占⽤的虚存⼤⼩受限制 • 进程驻留内存的⻚受限制、栈帧⼤⼩受限制 • 进程可使⽤的CPU时间受限制 • 进程可打开的⽂件描述符受限制 • 进程可⽤的管道、队列、⽂件锁受限制 ⼆、基本调优⼯具 ⼀ • mpstat - 查看CPU使⽤率信息 • vmstat - 报告虚存统计数据 • iostat - 报告CPU状态和存储I/O统计数据 • netstat - 报告⺴络栈各项参数 • ps - 系统上运⾏的进程及其状态 • top - 报告占⽤CPU和内存最⼤的进程 • sar - 报告系统活动状态 • pidstat - 检查具体某个进程的CPU和内存情况 • perf - 综合性能检查⼯具 ⼆ • sysctl - 调整内核参数 • strace - 跟踪进程的执⾏ • dtrace - 综合跟踪⼯具 • stap - 综合跟踪⼯具 • taskset - 绑定执⾏CPU • pmap - 报告进程内存映射信息 • free - 报告物理帧和虚拟帧信息 • dmesg - 系统启动信息，包括对各设备的监测 • /proc - 各项系统参数读写接⼝ 三 • /sys - 额外系统参数读写接⼝ • iotop - 类似top ，但⽤于检测I/O • ionice - 类似nice ，但⽤于设置进程的I/O优先级 • ifconfig - 监测与配置⺴络接⼝ • tcpdump - 捕获某个⺴络接⼝上