- 1、本文档共53页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
海量非结构化数据处理技术
在运营管理中的运用;目录;银行数据全生命周期管理-系统数据、业务数据;银行数据全生命周期管理目标;;银行各类数据的产生、分布、状态、用途.......;应用系统数据管理协议、日志输出标准化........;业务标识设计:为业务全程分析埋下“线索”、染色;9;;A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems ;;非结构化数据:运行产生的各类日志【静态】;XX系统应用协议分析:
WTC+SOP是基本结构,SOP内还封装其他协议
封装XML、封装~|~分隔的key-value pair;生产环境中的各类数据的关联性、多样性、复杂性;目录;;根据不同类型数据的特点,采取不同的技术手段;网络交易报文采集;;日志类数据采集:生产日志分析与监控的需求;日志类数据采集:日志关键字分析使用样例;日志类数据采集:非结构数据结构化的使用;;25;通过网络报文分析、提前预警故障隐患;通过网络报文分析、观察关键业务会话状态;;运行状态综合展现:观测发现、聚焦定位、诊断分析;系统容量数据采集:系统数据、应用数据、交易数据;31;32;用户行为分析:操作行为、过程行为、结果选择;目录;35;;采集与传输:
采集:根据业务、运维、监控、审计的需要,能够按照关联性、完整性、统计性等要求,采集各技术层面、各类生产环境、各中类型的生产日志;
传输:能够将采集到的各类日志,按照要求(是否可丢失),安全、稳定、可靠的进行传输,传送到日志采集服务器;
归档与查询:
归档:将采集到的各类日志,按照系统、模块、节点等架构规则,采集时间、保存周期等周期规则,业务、系统等属性规则,进行多维度归档与备份;
查询:按照归档的多维度属性,能够进行跨系统、跨节点、跨文件综合查询;
分析与使用:
分析:针对非结构化数据,能够完成各类逻辑分析(如:周期内同一事件的发生次数、比例等)
使用:根据分析规则,能够产生各类、各级报警信息,并集成到监控系统,提供业务运行状态实时数据及分析结果,提供业务运行特征分析结果;;;虚拟设备日志采集方式;;;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-逻辑架??;;;48;网络报文分析:应用协议及交易解码分析;;运维数据采集与运用整体技术架构;感谢交流;9、青少年是一个美好而又是一去不可再得的时期,是将来一切光明和幸福的开端。。5月-205月-20Thursday, May 28, 2020
10、人的志向通常和他们的能力成正比例。11:07:2211:07:2211:075/28/2020 11:07:22 AM
11、夫学须志也,才须学也,非学无以广才,非志无以成学。5月-2011:07:2211:07May-2028-May-20
12、越是无能的人,越喜欢挑剔别人的错儿。11:07:2211:07:2211:07Thursday, May 28, 2020
13、志不立,天下无可成之事。5月-205月-2011:07:2211:07:22May 28, 2020
14、古之立大事者,不惟有超世之才,亦必有坚忍不拔之志。28 五月 202011:07:22 上午11:07:225月-20
15、会当凌绝顶,一览众山小。五月 2011:07 上午5月-2011:07May 28, 2020
16、如果一个人不知道他要驶向哪头,那么任何风都不是顺风。2020/5/28 11:07:2211:07:2228 May 2020
17、一个人如果不到最高峰,他就没有片刻的安宁,他也就不会感到生命的恬静和光荣。11:07:22 上午11:07 上午11:07:225月-20
文档评论(0)