- 1、本文档共7页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
BOSS 系统日志分析研究与应用.doc
BOSS 系统日志分析研究与应用
摘要:当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。
关键词:日志规整;实时采集;日志分析
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2013)28-6433-04
1 背景
当前营业员和用户在业务支撑系统(简称:BOSS系统)办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障分析和处理。这个处理流程很耗时间,影响问题的解决效率。
在BOSS系统的各个渠道查询或受理业务的过程中,都有可能会因网络、数据库、应用系统等各方面原因抛出异常错误信息,这类错误信息记录在BOSS系统各主机的日志文件中,由于BOSS系统每天产生大量的日志文件,从日志文件中定位查找错误信息需要花费大量的时间,对维护人员处理问题和故障带来不便,影响问题的及时发现和处理实效性。
2 研究思路
考虑从主机的日志文件中及时地收集到这种系统异常错误信息,并自动入库进行分析,维护人员就能及时的了解BOSS系统当前的运行情况,发现系统问题,查询错误信息,能够在营业员或客户投诉之前就可以去核查解决,提升问题处理的及时性和效率,保障系统健康稳定的运行,从而提高系统业务支撑水平,提升营业员和客户的内外部满意度。
3 实现方案
建立BOSS系统日志分析管理平台,对BOSS系统主机产生的各种日志进行日志异常分析和日志管理,针对主机系统产生的大量日志文件进行处理:日志采集,日志管理,日志分析,日志综合告警执行以及执行前流程审批权限设立、分析结果处理执行中的流程跟踪、分析结果处理执行后的日志留痕。通过日志分析管理平台,维护人员能够方便的查看日志的分析结果、以及日志异常产生的次数和时间段,如系统错误产生的次数、产生的时间段、业务执行人员信息记录、业务执行影响等信息,从另一个角度去分析主机的稳定情况以及运行效率,以往一些不容易察觉的异常信息,通过对日志分析规则的配置和数据采集,也会在系统中体现出来,从而提高系统维护管理的水平。
3.1 日志分析平台系统架构
系统架构说明:
1)采集客户端:运行在生产主机上的采集客户端程序,负责收集相关日志,预处理并通过socket方式发送给采集服务端。
2)采集服务:采集服务端对消息进行缓存,由消息处理器进行异步处理,生成消息首先放入内存,同时发给实时告警,当内存中的记录数达到配置的阀值时写入文件数据库。
3)告警处理:实时告警收到消息后根据告警规则配置进行处理,并将结果入库。
4)查询服务:查询服务接收web端和统计进程的查询请求,从文件数据库和采集服务端的内存中查询符合条件的记录返回给调用端。
3.2 日志分析平台系统功能
系统功能说明:
1)日志监控采集:从各渠道的业务主机上实时读取新生成日志信息。由于BOSS系统各台主机上每天生成的日志信息量很庞大(达到830G),因此部署的客户端程序要能够实时采集日志,并且对主机性能不会造成大的影响。设计上采用客户端部署日志爬虫程序,实时采集日志并传送给服务端,采集传送时间5分钟,并且程序运行对主机资源的消耗5%,对生产主机的性能影响可忽略不计。
2)日志规整处理:对采集完成的的日志文本信息,按照既定格式统一进行规整处理,便于后续的存放和分析。
3)消息缓冲处理:将规整好的日志信息,送入待发往消息中心的缓冲区中。
4)消息发送处理:将缓冲区中存在的日志信息,取出发往消息中心;对发送出错的消息,记录关联信息到错误重发文件中。
5)错误重发处理:根据错误记录文件检索需要重新发送的日志信息,将消息再次发送。
6)日志分析处理:对日志进行分析,从有利于维护人员定位分析问题的角度出发,全方位提取错误的信息并进行归类分析,如业务调用路径分析、业务调用关系分析、调用函数分析、异常效率分析等,对分析出来的信息在WEB界面进行关联展现,便于对信息全方位的查看和分析。
7)统计告警查询:根据错误信息进行归类,达到一定阀值的进行告警(阀值可以进行手工调整),对告警的详细信息在WEB界面进行统一展现,并对错误信息进行统计,对外提供查询。
3.3 系统处理流程
您可能关注的文档
- 500千伏紧凑型输电线路覆冰舞动原因分析及防范措施.doc
- 555定时器及应用.doc
- 5月半导体行业要闻.doc
- 6%稻喜油悬浮剂对水直播早稻田杂草的防效研究.doc
- 600MW机组冷态启动节油措施.doc
- 600MW超临界机组送风量控制探究.doc
- 60V输入降压型大功率控制器.doc
- 60万吨球团生产线提高产量的改造实践.doc
- 64位ARM服务器部署测试 微服务器市场蓄势待发.doc
- 6—BA对大豆愈伤组织诱导影响的初步研究.doc
- 2020版 沪科技版 高中生物学 必修2 遗传与进化《第4章 生物的进化》大单元整体教学设计[2020课标].docx
- 情绪价值系列报告:春节消费抢先看-国证国际证券.docx
- 精品解析:北京市东直门中学2023-2024学年高二下学期3月阶段性考试(选考)物理试题(解析版).docx
- 2020版 沪科技版 高中生物学 必修2 遗传与进化《第4章 生物的进化》大单元整体教学设计[2020课标].pdf
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第1章 人体的内环境和稳态》大单元整体教学设计[2020课标].pdf
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第1章 人体的内环境和稳态》大单元整体教学设计[2020课标].docx
- 液冷盲插快接头发展研究报告-全球计算联盟.docx
- 精品解析:北京市东直门中学2023-2024学年高二下学期3月阶段性考试(选考)物理试题(原卷版).docx
- 精品解析:北京市东直门中学2024届高三考前练习数学试卷(解析版).docx
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第2章 人体的神经调节》大单元整体教学设计[2020课标].docx
文档评论(0)