利用DTRACE定位Oracle高并.PDFVIP

利用DTRACE定位Oracle高并 发堵塞案例 栾长苗 主要内容  什么是DTrace  为什么使用DTrace  如何使用DTrace  Dtrace定位Oracle高并发案例 什么是DTrace  Dtrace是一个动态跟踪工具  用来在生产和试验性生产系统上找出系统瓶颈的工具  可以通过D脚本语言创建定制程序  在系统中插入大量（大概7万个）的probe ，然后通 过Dtrace激活这些探测器。  记录和显示与内核或用户进程的相关信息，包括参数， 变量，调用时间，调用次数等等。  跟踪堆栈，可以指明函数调用的代码。 什么是DTrace  DTrace不需要任何内核代码修改。  Dtrace的核心是libdtrace.so.1 library ，它包含了d 脚本的编译器。该编译器将D脚本编译成了DIF格式。  Dtrace驱动可以解释执行DIF格式的机器指令。  支持多个操作系统Solaris ，Freebsd ，Mac OS X ， Linux （BPF ） 为什么使用DTrace 和truss相比：  Dtrace更安全（代码被严格限制），  更少的资源  更准确  异步调用 业务变化  活动多  高并发  问题持续时间短，不易重现  故障汇报-问题根源  问题整改 如何使用DTrace 如何使用DTrace  D脚本文件格式 # more /tmp/syscall.d BEGIN { cnt = 0; } --初始化定义变量 syscall::pread:entry --probe说明（在哪里追踪），格式：探针:模块:函数:entry。 / pid == 8333 arg0 == 256 / --predict （什么时候执行），条件判断为真。 { ustack(50,10); --action ，具体做什么操作。这儿是ustack跟踪用户线程的栈。 cnt++; } END { printf(%3d, cnt); }  使用dtrace调用D脚本 # dtrace -s /tmp/syscall.d dtrace: script /tmp/syscall.d matched 3 probes CPU ID FUNCTION:NAME 65 5140 pread:entry libc.so.1`_pread+0x8 oracle`skgfqio+0x204 oracle`opimai_real+0x10c oracle`main+0x98 oracle`_start+0x17c Dtrace定位Oracle高并发案例  案例描述  案例解析  案例总结  案例整改 案例描述 从11月10号到11月19 日的日志查看，两次出现中间件连接池suspend是在11-11 和11-12 日，同时应用有持续1 ~ 2分钟缓慢响应。 11号suspended 的app: ： lifeSF1203 10.33.98.13 lifeSF7131 10.33.98.11 lifeSF7143 10.33.98.11 lifeSF7308 10.33.98.13 12号suspended 的app: lifeSF 7131 10.33.98.11 lifeSF 7132 10.33.98.12 lifeSF 7143 10.33.98.11 19号suspended 的app，并出现Java OOM错误: lifeSF 7131 10.33.98.11 lifeSF 7132 10.33.98.12 案例分析 中间件问题 中间件连接泄漏 业务有连接风暴 有业务活动，导致连接风暴：抢售，