《1 大数据-宗露 华为大数据产品及金融行业实践》.pptVIP

大数据是华为ICT战略的重要支柱 Source: Huawei corporate presentation 全球8个研究所，保持1000+的研发投入； 拥有社区Committer、 IEEE Fellow等世界级数据挖掘和人工智能专家； 截止2016年12月，华为大数据取得专利190+，其中发明公布136件，发明授权 54件。 Professional Service Big Data Analytics Platform Data Center Infrastructure Core Network IP+Optical FBB Enterprise Network MBB Things (M2M Module) People (Smart Device) Enterprise Apps SDP BSS/OSS 3rd Partners Content App 3rd ISVs 华为大数据：IDC中国大数据MarkerScape领导者第一 IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行高研发投入，为公司打造了持续创新的能力。 华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过200家。 当前行业数据处理规模最大的即公共安全、银行业以及运营商，这几个领域对于大数据平台的性能要求最高。华为在这三大领域积累了700多个案例，证明了产品的稳定性、可靠性以及安全性。 华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与白金会员，Completed Blueprints贡献全球第一，综合贡献在中国厂商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡献排名全球第三。2016年华为创建了社区项目Apache CarbonData，发布了实时反欺诈平台FarmerRTD。 华为是大数据生态建设的倡导者和践行者 Top 2 Top 4 Databricks Cloudera Intel Huawei Meituan Appier Alpine Data Hortonworks Huawei Cloudera NTT Altiscale Intel Yahoo 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。 2015~2016年统计数据 Gartner DMSA 魔力四象限报告 华为FusionInsight，云化、开放、融合的大数据平台 数据集成 Porter Sqoop 批量采集 大规模并行处理数据库 Apollo DB Flume 实时采集 Oozie 作业调度管理 Kafka 消息管理 FtpOnHDFS 文件传输 管理平台 Manager 大数据 分析 关系型数据库服务: RDS 运维管理 配置管理 故障管理 性能管理 安全管理 … … Hadoop生态发行版 HD （HDFS、MapReduce、HBase、Hive、Solr、Spark、Storm、Flink、Elk、CarbonData 等核心组件） 数据洞察 Miner （图分析引擎、机器学习、数据标签） 大数据云服务 数据智慧 Farmer （实时决策引擎 Farmer RTD） 数据接入服务: DIS 数据分析服务：MRS、DWS、Stream、M-OLAP… 人工智能服务： MLS、NLP… HD：全新数据格式Carbondata，同时满足多种业务需求 多维分析 Large Scans OLAP Sequential Access Random Access Small Scans 传统模式 Carbondata 模式 高效率，高性能，存储灵活，兼容 MPPDB：帮助企业构建高性能、PB级新数仓 数据迁移 SQL开发 集群管理 完备的工具链 FusionInsight MPPDB 64位Linux系列，通用X86架构 （SUSE Linux、Redhat） 硬件+OS 集群服务器-1 集群服务器-n MPP大规模并行处理集群 SCTP大规模集群通讯网络 … … DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN Core1 Core1 Core1 Core1 Core1 Core1 Core1 Core1 C