浅谈PostgreSQL数据库监控.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * 浅谈PostgreSQL 数据库监控 平安壹钱包 余星 2016.05 目录 论监控的重要性 PG监控之方法论 PG监控@壹钱包 PG 在壹钱包的使用情况 目录 论监控的重要性 PG监控之方法论 PG监控@壹钱包 PG 在壹钱包的使用情况 论监控的重要性 case 1、值班DBA？ 数据库连不上啦！赶紧看看 case 2、Hi dbas ，帮忙看看上周五18点XX库有异常吗？ case 3、老板，明年我们要扩容50台机器 case 4、XXX，上个月的巡检报告怎么还没完成？ case 5、小布同学，今天怎么这么多报警短信！手机都快没电了 监控是DBA的眼睛,更是DBA的大脑！ 目录 论监控的重要性 PG监控之方法论 PG监控@壹钱包 PG 在壹钱包的使用情况 PG监控之方法论 监控的分类： 1、主机级监控、DB级监控 2、可用性监控、性能监控、业务监控 3、实时监控、非实时监控 监控的形式： web展示 报警 报表 PG监控之方法论 主流的监控工具： Zabbix Cacti Ganglia Nagios 自主开发监控系统  目录 论监控的重要性 PG监控之方法论 PG监控@壹钱包 PG 在壹钱包的使用情况 主机级监控--基础监控 监控类型 监控项 监控频率 Warning Critical CPU CPU idle time CPU iowait time FileSystems Free space pct Free inodes pct Memory Free memory Swap Free swap pct Network Interface traffic Time NTP offset uptime OS sys log RAID raid status raid log 主机级监控—性能监控 常用的监控工具 top、uptime、sar、mpstat、vmstat、iostat、ifstat、dstat、netstat、ulimit、dmesg、MegaCli、smartctl 主机级监控--性能监控 我们的做法: 通过 dstat 命令获取数据库主机性能数据，把监控数据入库，并在监控系统上展示 源数据： 主机级监控--性能监控 web展示： DB级监控--可用性监控 可用性监控项： DB连通性 数据库角色变化 数据库连接数 DB级监控--元数据监控 PG主要的元数据有：db、schema、table、column、index、user、role、materialized view、job、extension、sequence、partition table等 sequence监控： DB级监控--元数据监控 分区表监控： DB级监控--元数据监控 参数监控： postgresql.conf 配置跟pg_settings中是否一致 主、备库参数是否一致 DB级监控--连接数监控 4个层面的监控： 数据库级别总连接数 用户级连接数 主机级连接数 数据库活跃会话数 DB级监控--连接数监控 数据库级别总连接数 DB级监控--连接数监控 用户级连接数 DB级监控--连接数监控 主机级连接数 DB级监控--空间监控 主要监控项： db size top table size wal log size backup file size $PGDATA size pg_log size DB级监控--性能监控 主要监控指标： Top 10 SQL by CPU time (pg_stat_statements) 锁等待信息（pg_stat_activity、pg_locks） DB 读写时间、死锁、回滚、命中率等（pg_stat_database） DB的增删改查、逻辑读、物理读次数（pg_stat_user_tables） Checkpoint、bgwriter统计 （pg_stat_bgwriter） 表、索引膨胀信息 db、table 年龄 长事务 慢查询数量 DB级监控--性能监控 server log 分析监控 csv格式log导入表分析 使用pgbadger工具 生成类似于 oracle awr报表 DB级监控--其他监控 复制的监控（pg_stat_replication） 应用延迟 传输延迟 备份监控 业务监控 PG监控--监控