芒果tv elk日志系统实践 -刘波涛.pptVIP

芒果TV ELK日志系统实践 关于我 刘波涛 芒果TV研发工程师 日志文件重要性 Linux哲学: 万物皆文件 运维哲学: 日志管理是保障高质量服务的基础 日志架构演变 日志系统架构 ELK系统架构 Rsyslog Nginx： 通过syslog模块转发 应用程序: 通过调用syslog函数写入 规范统一格式 v8版本以上(原生支持Kafka) Rsyslog-Avoid-Block 关闭HUPIsRestart配置选项(低版本) 监控rsyslog服务,一旦crashes能够马上重启 传输方式由TCP改为UDP(恶性循环) Kafka 强大消息堆积能力 日志领域高度成熟 支持Hadoop数据并行加载 高性能(顺序写单机写入TPS约在百万秒/s) Kafka vs Redis Kafka-Options Partition Number(数量必须大于消费者数量) Broker Number(配置和内核数相同) work.threads num.io.threads Logstash Logstash 性能问题,大量消耗CPU和内存 容易僵死 自定义JAVA程序替代Logstash(支持kafka,syslog输入,ES输出) 启动多个进程进行消费 配置 Elasticsearch 以写为主,读为辅助(随机写 磁盘瓶颈 使用SSD替代传统硬盘) 增加Index.refresh_interval 时间(默认为一秒),降低压力 设置filedldata: format :doc_value 避免Heap crash 减少副本数量(副本数为0) 合理使用TCP,UDP索引模式(我们使用Http模式) 关闭系统swap 内核配置修改 对数据聚合进行处理string2int 定时删除旧索引(保存2个星期) 服务器参数调整 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.tcp_max_syn_baklog = 8192 net.ipv4.tcp_max_tw_bukets = 5000 TCP参数 调整Linux的最大文件数 ulimit -SHn 65535 磁盘 如果util接近100%则说明产生的I/O请求太多,I/O系统已经满负载 磁盘可能存在瓶颈如果idle小于70%,I/O的压力比较大,说明读取进程中有较多的wait iostat vmstat 2 查看b堵塞进程情况 vmstat 磁盘 # fio -filename=/dev/sda3 -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=1k –size=1G -numjobs=10 -runtime=120 -group_reporting -name=mytest 检查磁盘性能 Elasticsearch 自定义分词:尽量不使用标准分词使用ik Mapping:压缩_source(compress:true) Mapping:禁用all(include_in_all:false) ES_HEAP_SIZE: -Xms = -Xmx 不超过内存50% index.cache.field.type = soft index.cache.field.max_size:50000 index.cache.field.expire:10m index.fielddata.cache: soft Elasticsearch SSD优化参数 mmap索引文件格式 (index.store.type: mmapfs) indices.store.throttle.type:none indices.memory.index_buffer_size: 30% index.translog.flush_threshold_size:5gb index.translog.flush_threshold_ops: 500000 index.gateway.local.sync:30s index.merge.scheduler.max_thread_count: 3 index.merge.scheduler.max_merge_count: 6 关闭文件系统ATIME（atime  off） 磁盘RAID0 Kibana K3 VS K4 原生 VS 自定