原创力文档- 1、本文档共52页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
海量非结构化数据处理技术
在运营管理中的运用;目录;银行数据全生命周期管理-系统数据、业务数据;银行数据全生命周期管理目标;;银行各类数据的产生、分布、状态、用途.......;应用系统数据管理协议、日志输出标准化........;业务标识设计：为业务全程分析埋下“线索”、染色;;;A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems ;;非结构化数据：运行产生的各类日志【静态】;XX系统应用协议分析：
WTC+SOP是基本结构，SOP内还封装其他协议
封装XML、封装~|~分隔的key-value pair;生产环境中的各类数据的关联性、多样性、复杂性;目录;;根据不同类型数据的特点，采取不同的技术手段;网络交易报文采集;;日志类数据采集：生产日志分析与监控的需求;日志类数据采集：日志关键字分析使用样例;日志类数据采集：非结构数据结构化的使用;;;通过网络报文分析、提前预警故障隐患;通过网络报文分析、观察关键业务会话状态;;运行状态综合展现：观测发现、聚焦定位、诊断分析;系统容量数据采集：系统数据、应用数据、交易数据;;;用户行为分析：操作行为、过程行为、结果选择;目录;;;采集与传输：
采集：根据业务、运维、监控、审计的需要，能够按照关联性、完整性、统计性等要求，采集各技术层面、各类生产环境、各中类型的生产日志；
传输：能够将采集到的各类日志，按照要求（是否可丢失），安全、稳定、可靠的进行传输，传送到日志采集服务器；
归档与查询：
归档：将采集到的各类日志，按照系统、模块、节点等架构规则，采集时间、保存周期等周期规则，业务、系统等属性规则，进行多维度归档与备份；
查询：按照归档的多维度属性，能够进行跨系统、跨节点、跨文件综合查询；
分析与使用：
分析：针对非结构化数据，能够完成各类逻辑分析（如：周期内同一事件的发生次数、比例等）
使用：根据分析规则，能够产生各类、各级报警信息，并集成到监控系统，提供业务运行状态实时数据及分析结果，提供业务运行特征分析结果；;;虚拟设备日志采集方式;;;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-??辑架构;;;;网络报文分析：应用协议及交易解码分析;;运维数据采集与运用整体技术架构;感谢交流
文档评论（0）