联创智融_ILOG大数据平台简介.pptxVIP

日志化繁为简化大为小产品定位——中国的splunk应用ILOG大数据平台业务审计监控网银柜面索引集群采集集群故障定位业务应用系统管理监控中心应用系统日志交易流水数据客户行为日志性能容量架构优化维护分布式存储集群跨渠道营销定向营销核心客户偏好分析营销数据来源系统渠道绩效产品/业务/绩效客户群体经营大数据应用平台主要功能实现所有应用系统数据、日志的集中存储、压缩、归档/清理、浏览和下载对交易按需进行统计分析，得到运行决策、系统调优等工作所需的信息支撑海量数据存储检索统计分析指对渠道交易跨应用系统调用的实际路径进行自动还原，并提供链路、步骤、耗时、出入参等信息交易链路分析根据关键字等检索条件，快速、准确的检索到相应日志功能介绍-集中日志存储实现所有应用系统的日志的集中存储、压缩、归档/清理、浏览和下载网点服务平台功能介绍-统一日志检索以三种集中、统一模式实现所有转型应用的关键日志（如交易流水、报文等）的检索和结果呈现（原始和条件格式化）检索模式一：简洁（单系统24小时）记录呈现模式一：原始格式|∨简洁全部柜面总线核心移动银行更多日志搜索检索模式二：表单|∨表单记录呈现模式一：格式化+|∨日志搜索--选择--检索模式三：LQL语法|∨LQLselect * from * where logType=“business..日志搜索功能介绍-统计分析基于全量交易日志，按需对近期或全量历史日志进行统计分析，得到运行决策、系统调优等工作所需的支持信息个人门户视图定制图表定制功能介绍-交易链路分析基于交易日志与全局流水号对交易的跨系统执行链路进行还原和分析130000001239141023 链路分析全程耗时：7390ms访问时延：6569ms实际处理耗时：821ms法人：青岛华丰农村合作银行网点：李村支行-杨家群分理处渠道：柜面渠道交易：柜面转账交易分类：账务-转账-行内状态与错误：失败-后台超时链路耗时详情日志链接0s2s4s6s8s更多开始访问处理错误网点：柜面转账报文异常15:337390后台超..7390ms总线：验密15文异常安全：验密15:3480210报文异常总线：通用转账3020ms15:361203020timeo.报文异常核心：转账15:372980890报文异常系统架构源应用系统日志管理平台采集子系统离线分析子系统采集代理（文件）网点文件存储子系统采集代理（MQ）日志管理中心ESB采集服务器检索子系统。。。技术原理——实时采集实现应用日志准实时从源系统采集并入检索系统索引库应用系统采集系统检索系统应用实例主节点主节点1. 写入4. 地址？采集代理结点状态表队列状态表（按类型+应用）文件2. 读取7. 地址？3. 批量压缩数据节点1数据节点18. 传输9. 分词10. 索引建立应用系统6. 读取5. 传输分发代理索引应用实例队列11. 索引片自动副本1. 放入采集代理数据节点n数据节点n2. 取出消息队列技术原理——文件离线采集实现日志文件T+1后从源系统转储到集中文件存储系统文件存储系统日志管理中心作业计划系统文件开始时间核心服务总线…主节点应用系统文件数据块表1. 启动采集系统数据节点1主节点采集代理文件32. 读取14. 地址？6. 地址？队列状态表（按类型+应用）3. 批量压缩425. 传输8. 数据块自动副本7. 传输数据结点1数据节点n6. 读取分发代理31日志记录24数据结点nIT系统日志监控-日志小文件存储方案索引系统文件系统数据块1索引A1索引A2索引An文件合并文件存储备份块1建立索引系统A（文件1、文件2…文件n）系统A大文件文件名，修改时间，大文件开始位置，文件长度数据块2索引B1索引B2索引Bn建立索引文件合并文件存储备份块2文件名，修改时间，大文件开始位置，文件长度系统B大文件系统B（文件1、文件2…文件n）数据块3索引C1索引C2索引Cn文件存储文件合并建立索引备份块3文件名，修改时间，大文件开始位置，文件长度系统C（文件1、文件2…文件n）系统C大文件技术原理——统一检索面向所有运维人员，提供统一的日志记录检索查询功能检索系统日志管理中心主节点|∨2. LQL语句1. 发起查询3. 检索任务生成 用户4. 任务执行与结果返回5. 合并检索结果并排序和分页数据节点1数据节点n技术原理——统计分析实现对交易流水日志的统一统计分析，支持准实时和离线两种场景日志管理中心作业计划表作业开始时间1. 分析作业调度离线分析系统计算主节点离线分析节点3. 语法分析，生成MR执行计划2. HQL视图工具1. ETL作业调度4. 任务执行 2. 抽取4计算节点1计算节点n3. 载入关系型数据库ETL工具Map/ReduceMap/Reduce2. 抽取文件存储系统检索系统（准实时）日志文件统