360大数据平台.pptx

360大数据平台介绍 唐会军 360大数据规模能力 大数据服务器规模超过30000台 总存储数据量接近1EB，每天新增超过1PB 每天各种数据计算任务10万个，每天处理数据量10PB 具备一分钟内调动几十万颗CPU核参与计算能力 具备一秒钟处理1TB数据能力 360大数据技术路线 利用最廉价的PC服务器+开源/自主开发软件构建而成 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100 360大数据业务(搜索 广告 杀毒 语音\图像识别…) 360大数据架构图 产品 计算 存储 机器学习平台 实时计算平台 M/R计算平台 文件存储平台 表格存储平台 对象存储平台 搜索 安全 广告 语音 图像 底层 云主机 内核 硬件 流式计算平台 块存储平台 HBase平台（HDFS, M/R） 运行全球最大的HBase集群之一（3K节点） 存储记录总条数达到100万亿条 增加索引引擎，满足关系型数据库查询需求 增加搜索引擎，对存入平台的所有数据支持字符检索 Cassandra平台 Cassandra集群总规模全球第一（超过10K节点） 增加数据备份，数据冗余EC方案，索引等一系列功能 修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验 机器学习平台Euler 应用 计算 存储 MPI通信框架 分布式向量 作业管理任务调度 分类 分布式矩阵 计算框架 聚类 回归 …