华为金融技术峰会-华为云GaussDB(DWS) 一站式分析技术,提速金融全场景分析-李群.docxVIP

华为金融技术峰会-华为云GaussDB(DWS) 一站式分析技术,提速金融全场景分析-李群.docx

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
华为云GaussDB(DWS) 一站式分析技术,提速金融全场景分析 李 群 华为云GaussDB(DWS) 资深产品经理 Value智能数据时代多样性应用、海量数据、实时处理对数据平台提出挑战 Value PC时代互联网时代移动互联网时代智能数据时代深度智能全场景分析实时风控6000+ PC时代 互联网时代 移动互联网时代 智能数据时代 深度智能 全场景分析 实时风控 6000+,风控规则 50ms, 实时响应 开放数据,普惠分析 10000+分析师在线分析 时延:小时-分钟-秒/毫秒 生态化 实时化 Correla tive Velocity 实时分析更快释放数据价值、融合分析挖掘更多数据价值 业务特征 社媒 视频 图像 音频 遥感 文件 支付交易 4.5亿笔/天;1.5w TPS 数据量 30% 年增长,三年翻一番 TB 级每日增量 数据On-line 7年保存周期 But, 期望永不下线 多样化 海量化 Variety Volume 数据规模呈指数级增长、多样性数据需要多样性的计算引擎 数据特征 智能数据时代 数据平台无法满足业务部门日益增长的 数据消费 需求的无法处理多样化 数据平台无法满足业务部门日益增长的 数据消费 需求的无法处理多样化 数据供给 之间的矛盾 ?烟囱式建设? ?T+1批量处理? ?开发周期长? …… 数据消费 数据供给 数据平台建设重心转向支撑业务应用上线,现阶段的主要矛盾是 数据平台 数据平台 数据确权 快速迭代 智能驱动 敏捷上线 自助开发 可视展现 知识图谱 第三方数据 日志数据 视频图像数据 外部数据 交易系统数据 IoT数据 移动APP应用服务器Web应用互联网/第三方数据采集日志点击流 移动APP 应用服务器 Web应用 互联网/第三方 数据采集 日志 点击流 爬虫系统 数据同步系统(数据导入) T+1数据接入 T+0数据接入 数据处理 批量数仓 实时数仓 Teradata/Greenplum Oracle/Db2 Hana/Oracle Flink/Streaming 探索平台 仓外集市 数据 消费 Teradata/Greenplum Oracle Db2 应用 BI 运营决策 Oracle/MySQL 难管理 标准难落地,质量难一致 流动慢 组件多,数据格式难统一,反复转换 架构重 异构产品组合构建全场景能力 装不下 扩展难,孤岛现象难消除 华为云GaussDB(DWS),新一代数仓,一站式分析,使能人人用数 设备数据 设备数据 行为数据 实时数据(毫秒/秒) OLAP引擎 | 时序引擎 | CEP引擎 视频图像 增量数据(分钟) 流数据 历史数据 内存表 实时交易 批量数据(小时/天) MPP | Shared nothing | Cloud-Native 大数据(MRS) 云存储(OBS) 业务应用 监管报送 客户画像 ① 批量分析 BI报表 联机查询 自助分析 ② 交互式分析 反欺诈 实时大屏 实时头寸 ③ 实时分析 Multi-Stream,多层级全并行计算分时限额 | 快慢车道 | SQL诊断 | TopSQL湖仓一体,协同分析 | 智能多温存储 Multi-Stream,多层级全并行计算 分时限额 | 快慢车道 | SQL诊断 | TopSQL 湖仓一体,协同分析 | 智能多温存储 智能负载管理 融合协同 软件多层级HA、多层级备份、硬件全冗余设计 软件多层级HA、多层级备份、硬件全冗余设计 CN 1 CM Agent CN 0 多层级全并行计算 Multi-Stream,2048节点大集群 stream 1 stream 2 stream n CM Agent Monitor Monitor CM Server Standby CM Server Primary CM Agent CM Agent Monitor Monitor ③ 如何更稳,保障业务连续性 LLVM 动态编译 SIMD 指令并行 SMP 算子并行 MPP 节点并行 DataNode2 Producer 1 Producer 2 Producer 3 Consumer 1 Consumer 2 Consumer 3 DataNode1 Consumer 1 Consumer 2 Consumer 3 Producer 1 Producer 2 Producer 3 ② 如何更快,保障业务SLA ① 如何更大,更经济 运维测试 7大项,98个子任务 场景测试 5896个作业全流程 基准测试 4大项、11个子任务 安全指标 等级保护/审计日志 性能指标 加载/压缩/高并发 管理性指标 工具/维护/定位 扩展性指标 线性度/负载均衡 可用性指标 HA/备份恢复 配置类指标 软硬件部署 选型测试

文档评论(0)

资源共享 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

版权声明书
用户编号:6242020230000010

1亿VIP精品文档

相关文档