1-大数据-宗露-华为大数据产品及金融行业实践说课材料.ppt

华为金融行业大数据实践分享 大数据是华为ICT战略的重要支柱 Source: Huawei corporate presentation 全球8个研究所，保持1000+的研发投入； 拥有社区Committer、 IEEE Fellow等世界级数据挖掘和人工智能专家； 截止2016年12月，华为大数据取得专利190+，其中发明公布136件，发明授权 54件。 Professional Service Big Data Analytics Platform Data Center Infrastructure Core Network IP+Optical FBB Enterprise Network MBB Things (M2M Module) People (Smart Device) Enterprise Apps SDP BSS/OSS 3rd Partners Content App 3rd ISVs 华为是大数据生态建设的倡导者和践行者 Top 2 Top 4 Databricks Cloudera Intel Huawei Meituan Appier Alpine Data Hortonworks Huawei Cloudera NTT Altiscale Intel Yahoo 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。 2015~2016年统计数据 Gartner DMSA 魔力四象限报告 华为FusionInsight，云化、开放、融合的大数据平台 数据集成 Porter Sqoop 批量采集 大规模并行处理数据库 Apollo DB Flume 实时采集 Oozie 作业调度管理 Kafka 消息管理 FtpOnHDFS 文件传输 管理平台 Manager 大数据 分析 关系型数据库服务: RDS 运维管理 配置管理 故障管理 性能管理 安全管理 … … Hadoop生态发行版 HD （HDFS、MapReduce、HBase、Hive、Solr、Spark、Storm、Flink、Elk、CarbonData 等核心组件） 数据洞察 Miner （图分析引擎、机器学习、数据标签） 大数据云服务 数据智慧 Farmer （实时决策引擎 Farmer RTD） 数据接入服务: DIS 数据分析服务：MRS、DWS、Stream、M-OLAP… 人工智能服务： MLS、NLP… HD：全新数据格式Carbondata，同时满足多种业务需求 多维分析 Large Scans OLAP Sequential Access Random Access Small Scans 传统模式 Carbondata 模式 高效率，高性能，存储灵活，兼容 MPPDB：帮助企业构建高性能、PB级新数仓 数据迁移 SQL开发 集群管理 完备的工具链 FusionInsight MPPDB 64位Linux系列，通用X86架构 （SUSE Linux、Redhat） 硬件+OS 集群服务器-1 集群服务器-n MPP大规模并行处理集群 SCTP大规模集群通讯网络 … … DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN Core1 Core1 Core1 Core1 Core1 Core1 Core1 Core1 Core1 完备的SQL能力，应用平滑迁移 开放平台性能业界最佳 弹性伸缩支持PB级数据处理 Miner：一站式图形化大数据洞察平台 FusionInsight Miner Miner Base 数据探索 并行化算法库(机器学习、图分析、时空数据分析) 模型管理 数据分析产品 图分析引擎 (Weaver) 日志分析 (Data Compass) 建模分析 标签管理 全流程；多维度；高性能；开放 Farmer：实时应用使能器，助力企业实时决策 平滑微服务化；易运维；高可用性；业务人员直接写规则 FusionInsight HD, Redis, RTD DB MQ 消息队列 ALB 接入负载均衡 … Container 容器池 RTD执行 RTD编排 数据服务管理 自定义应用1 自定义应用N FusionInsight Farmer HDFS OBS Batch（YARN） Spark Hive MapReduce TensorFlow/MXNet 模型文件解析运行引擎 Yarn HDFS Elk X86 GPU COTS GPU 芯片 ATLAS