芒果TVELK日志系统实践-刘波涛.ppt

芒果TVELK日志系统实践关于我1刘波涛2芒果TV研发工程师3运维哲学:日志管理是保障高质量服务的基础03Linux哲学:万物皆文件02日志文件重要性01日志架构演变日志系统架构ELK系统架构RsyslogNginx：通过syslog模块转发应用程序:通过调用syslog函数写入规范统一格式v8版本以上(原生支持Kafka)01关闭HUPIsRestart配置选项(低版本)02监控rsyslog服务,一旦crashes能够马上重启03传输方式由TCP改为UDP(恶性循环)Rsyslog-Avoid-Block01Kafka02强大消息堆积能力03日志领域高度成熟04支持Hadoop数据并行加载05高性能(顺序写单机写入TPS约在百万秒/s)06KafkavsRedis01Kafka-Options02PartitionNumber(数量必须大于消费者数量)03BrokerNumber(配置和内核数相同)LogstashLogstash01040203容易僵死启动多个进程进行消费配置性能问题,大量消耗CPU和内存自定义JAVA程序替代Logstash(支持kafka,syslog输入,ES输出)Elasticsearch以写为主,读为辅助(随机写磁盘瓶颈使用SSD替代传统硬盘)增加Index.refresh_interval时间(默认为一秒),降低压力设置filedldata:format:doc_value避免Heapcrash减少副本数量(副本数为0)合理使用TCP,UDP索引模式(我们使用Http模式)关闭系统swap内核配置修改对数据聚合进行处理string2int定时删除旧索引(保存2个星期)服务器参数调整net.ipv4.tcp_fin_timeout=30net.ipv4.tcp_keepalive_time=1200 net.ipv4.tcp_syncookies=1 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_tw_recycle=1 net.ipv4.ip_local_port_range=102465000net.ipv4.tcp_max_syn_baklog=8192net.ipv4.tcp_max_tw_bukets=5000TCP参数调整Linux的最大文件数ulimit-SHn65535磁盘如果util接近100%则说明产生的I/O请求太多,I/O系统已经满负载磁盘可能存在瓶颈如果idle小于70%,I/O的压力比较大,说明读取进程中有较多的waitiostatvmstat2查看b堵塞进程情况vmstat磁盘#fio-filename=/dev/sda3-direct=1-iodepth1-threadrw=randrw-ioengine=psync-bs=1k–size=1G-numjobs=10runtime=120-group_reporting-name=mytest检查磁盘性能Elasticsearch自定义分词:尽量不使用标准分词使用ikMapping:压缩_source(compress:true)Mapping:禁用all(include_in_all:false)ES_HEAP_SIZE:-Xms=-Xmx不超过内存50%index.cache.field.type=softindex.cache.field.max_size:50000index.cache.field.expire:10mindex.fielddata.cache:softElasticsearchSSD优化参数mmap索引文件格式(index.store.type:mmapfs)indices.store.throttle.type:noneindices.memory.index_buffer_size:30%index.translog.flush_threshold_size:5gbindex.translog.flush_threshold_ops:500000index.gateway.local.sync:30sindex.merge.scheduler.max_thread_count:3index.merge.scheduler.max_merge_count:6关闭文件系统ATIME（atime?