海量日志搜索分析技术在金融行业的应用.pptx

海量日志搜索分析技术 在金融行业的应用;提纲;日志，我们重要的数据资产;日志的应用场景;日志3.0： 实时搜索引擎;日志易亮点;Schema on Write vs. Schema on Read;日志易功能;日志易分析事件优势;600多个业务系统，面对每天产生大海量（几十TB）的日志数据，日常运维过程中，往往面临以下问题： 1.逐台登陆服务器，无法集中查看日志和基于海量数据的数据挖掘及用户行为分析。 2.日志查询方式比较原始，只能less、grep和awk等常见的linux指令，无法多维度查询（时间段、关键字、字段值） 3.无法进行日志的业务逻辑分析和告警。;1.接入约600多个业务系统，每秒产生约30万条日志，由于日志量庞大，为了降低防火墙策略的复杂度以及防火墙流量压力，将网络设备，服务器，业务应用日志通过专门网口接入到内网万兆交换机，直接转发到日志易集群 2.各业务系统服务器中部署日志易采集agent???用于增量读取业务日志;;;;;;;;实现效果－日志分组;实现效果－日志搜索;对上述用户需求，通过spl语法，做出定时任务，每小时，每一天在后台自动统计，用户可以随时查询对应时间的统计结果;实现效果－定时任务;实现效果－告警;实现效果－报表;14;14;14;14;14;14;实际业务分析需要对不同日志中内容进行聚合后进行再统计计算分析。 例如金证用户操作频度分布分析 希望统计赎回、开户、查询、申购的占比，但日志内容中不会有这些字段，只会出现实时清算完成、赎回清算完成、余额查询完成等。 需要对相应内容进行聚合转换后再统计。 通过日志易高级spl语法实现:;金证系统日志分析--金证用户操作频度分布结果;进一步生成饼图展示;金证系统日志分析--操作频度趋势表;对统计结果中的“操作平均耗时”字段数值进行告警，每30分钟检测一次，只要任何一个操作耗时超过100ms即告警;金证系统日志分析—自动生成PDF日报;内置ip地址库，可看到总体访客全球、国内地理位置分布，请求方式趋势图已经状态码分布