海量非结构化数据技术在运营管理中的运用.pptx

海量非结构化数据处理技术在运营管理中的运用大数据很有价值，但数据获取很关键目录1银行数据全生命周期管理探讨规划、设计、线上、近线、离线、下线、调阅、销毁？结构化数据是哪些，非结构化数据是哪些，如何获取？2海量非结构化数据特点及使用3海量非结构化数据技术要点与实现银行数据全生命周期管理-系统数据、业务数据提出应用系统数据管理规范定义应用系统数据管理协议明确不同类型数据的管控手段定义设计阶段落实数据管理：控制明确各类数据的特性确定各类数据的存在环境系统及业务数据的采集方式设计各类数据的备份与恢复投产前明确数据管控手段：生产数据性能及容量管理生产数据的备份与归档数据在线、近线、下线管理备份数据有效性验证与管理维护生产数据管理备份与归档：使用系统数据监控与分析业务数据的调用与登记业务数据的翻新与备份历史数据调用分析使用：数据生产数据规划银行数据全生命周期管理目标 数据特性识别 使用规划设计 备份需求确认 使用周期确定 技术手段落实 在线生产数据监控采集 近线查询数据归档处理 离线归档数据备份分析 数据分析结果综合运用数据管理生产状态监控运行趋势分析整体容量管理历史数据调阅运营情况分析业务创新支持数据采集管理数据加工处理备份计划管理备份操作执行 介质归档管理备份周期管理数据管理数据使用科技服务之一：结构化/非结构化数据的全生命周期管理与使用数据管理如何实现哪些是结构化数据哪些是非结构化数据银行各类数据的产生、分布、状态、用途.......审计安全事故故障单操作账务安全信息银行单笔业务的执行，引起整体架构各层面产生各类关联性数据业务执行产生动态与静态数据变更管理服务器发展规范应用存储虚拟化安全网络接入基础运行产生技术相关数据分析哪里存在数据、什么形式、特征如何、如何管理、如何使用应用系统数据管理协议、日志输出标准化........有效运用各类数据的基础是对其进行全程管理与控制业务标识设计：为业务全程分析埋下“线索”、染色长连接：资源专用、效率高，关注超时及挂起状态短连接：资源共用、容量大、连接耗时，关注异常波动系统间会话业务流程请求：请求发起端，超时、成功率连接网络转发、动态分配，后端状态转换快速转接、转换，是否有堵塞服务业务服务原子交易，速度、可靠单系统交易业务标识：可用于故障定位、容量系数、业务分析.......银行数据生命周期管理：从源头控制与实施日志标准化日志分类：应用系统，应将交易流水日志、系统debug日志，系统报错日志日志分级：各类日志应设置级别控制，通过动态开关，控制日志写出的粒度日志格式：各类应用日志，尤其是系统报错日志，应遵守统一的格式要求日志传输：日志写出并传输的方式，应采用全行统一的传输方式交易报文标准化统一交易标识：全行统一的交易标识，在多系统中传输，便于监控和故障诊断报文加密策略：对中间件、应用服务器的报文加密进行统一规定数据管理基础：结构化/非结构化数据可采集、可加工、可分析利用数据管理如何实现哪些是结构化数据哪些是非结构化数据结构化数据及其采集使用：交易流水......系统名称是否含有下列内容交易流水表交易代码交易日期交易时间交易状态分类统计图形化前端管理系统(GTS)有有有有有分行号理财产品销售系统（FUND）有有有有有有电子支付平台（EPAY）有有有有有无外汇买卖系统（EXCH）有有有有有无动态口令集中认证管理平台(OPT)有有有有有渠道现金管理系统（CaMS）有有有有有有手机银行（CEMB）有有有有有登录方式短信平台系统(MSG)有有在同一字段内有运营商贵金属交易系统(GOLD)有有有有有无核心业务系统（ECAS）有有有有有业务种类Call-Center系统(CCS)有有有有有交易种类总行大前置系统（EBIP）前置二期监控实施中总行中间业务平台（EBMP）有有有有有无新网络银行系统（NBANK）有有有有有交易渠道基金托管系统(FTS)有有有有有有第三方存管系统(IFTS)有有有有有交易渠道企业年金系统（EPAMS）有有有有改造后有交易渠道客户信息统一管理系统(ECIF)有有有有有无信贷风险流程管理系统（CECM）有有有无有无市场风险管理系统(SUMMIT)有有有有有无A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems 数据管理如何实现哪些是结构化数据哪些是非结构化数据非结构化数据：运行产生的各类日志【静态】网络端口监听所有端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS自定义脚本与APIs可设定测试WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell计算机文件监测运行的