华为大数据解决方案汇报v20.docVIP

华为大数据解决方案汇报 --FusionInsight金融大数据解决方案 Content 1 大数据发展趋势 2 华为大数据平台关键技术 3 华为大数据平台行业实践 4 华为大数据平台案列详述 1 未来银行：客户更加移动化、个性化、社交化，实时化 随时随地获取服务 分析、创造数据 传统客户 固定时间地点获取服务 被动接受数据 寻求更多资源 信任市场信息 被动接受传播 寻找有意义的体验 审视细节 互动参与内容、产 品和体验的创建 新客户 关注场景 运营 客户 全渠道 标准化和产业化提供服务 关注过程和步骤 被动接受信息且信息来源单一 通过客户经理联系客户 营销 客户 效率 个性化的 灵活服务 固定渠道单一交互 传统银行 新银行 服务 客户 2 第二数据平台成为驱动业务创新的新平台 POS ATM 柜面 电话银行 第一数据平面： 交易核心 单次、事务性 统一历史明细 实时营销 精准营销 大数据业务： 网上银行 在线征信 实时在线性 业务持续性 互联网 实时 批量 第二数据平面： 大数据平台 并发、查询/分析 或有金融资产 金融脉络关系 跨多元数据 对大数据平台的要求： ? 企业级质量标准：金融等保、可靠、 ? 开放性：多分析引擎统一管理，满 ? 挖掘能力：支持机器学习、深度学习等新 易用；支持现有系统的对接。 足多样化的数据分析场景 的数据挖掘能力，实现更精准的洞见 3 数据：存量 . 增量 . 行内 . 行外 历史数据越来越多 数据分析 信用 非结构化数据越来越多 业务系统 帐户 明细 交易 社交 日志 影像 帐户 明细 行外数据 行内数据 社交、网购数据 企业数据平面 “在大数据领域，不能充分形成大数据使用能力 的竞争者将被淘汰”-McKinsey Global Institute 4 混合型数据平台-体系架构 操作型 数据区 数据 交换区 集成型数据区 分析型数据区 应用服务区 新核心系统 老核心系统 客户系统 外围系统 渠道系统 外部系统 数 据 采 集 和 交 换 平 台 基础数据平台 大数据平台 传统平台 技 术 缓 冲 层 贴 源 模 型 层 基 础 模 型 层 共 性 加 工 层 应 用 集 市 层 实时事件处理平台 历史数据区 历史数据平台 监管报送平台 统一报表平台 管理会计系统 流动风险系统 市场风险系统 数据挖掘平台 国家审计平台 应用 服务器 报表 工具 即席 查询 数据 挖掘 工具 历史 数据 访问 应用 W E Ｂ 服 务 器 ETL调度 数据标准 元数据 数据质量 数据管控 数据交换 5 混合型数据平台-数据区域 操作型数据区 集成型数据区 对应系统：客户管理系统、各类产品系统、帐务处理系统、各类渠 道系统、管理流程系统。 功能定位：主要承担面向客户的交易、帐务处理，面向内部的流程、 事务管理等功能。 数据特征：存储业务处理和流程管理过程中产生的客户、协议、账 户、交易等原始数据，数据基本为当前状态，保存一定周期的交易 流水数据。 对应系统：基础数据平台、大数据平台和实时事件处理平台。 功能定位：实现全行关系型结构化数据、非结构化数据的处理，包 括离线分析和实时事件数据的集中管理和加工，为业务运营和决策 分析提供数据支持。 数据特征： 1.利用大数据技术，实现ODS、EDW、汇总层数据统计等一系列 的离线数据分析功能，而传统数据库则实现复杂的交于和事务处理 逻辑。 2.大数据平台同时可以实现非结构化数据的集中管理，结构化及非 结构化数据的初加工为主； 3.实时事件处理平台以实时事件数据的集中管理和加工为主。 分析型数据区 历史数据区 对应系统：统一报表平台、监管报送平台、管理会计、风险管理等 系统。 功能定位：主要获取数据集成平台提供的汇总数据，按照应用主题 进行数据的高粒度汇总加工、图形化分析和展现。 数据特征：存储汇总、聚合类数据，主要以星型结构、宽表等形式 存储，存储周期较长。 对应系统：主要是历史数据平台。 功能定位：根据数据生命周期管理，承担对操作型系统、分析型系统 的历史数据，以及数据集成平台部分历史数据的在线归档保存，为客 户交易明细历史查询、公检法查询等应用提供支持。 数据特征：状态类数据采用全表历叱拉链存储，交易类数据保留长期 历史。 6 数据处理技术分布式演进趋势：Hadoop成为开放的事实标准 SMP SMP+MPP混合 MPP Hadoop 特点：单机、Scale up ? 性能存在瓶颈 ? 扩展性差 特点：Share Everything ? 结构化、关系型 ? Flash Cache+分布式块存储+IB 特点：Share Nothing ? 结构化、关系型 ? 通用的硬件 特点：Share Nothing ? 开放,、全球生态 ? 结构化、半结构化、非结构化 ? 高性