360大数据平台.pptxVIP

360大数据平台介绍唐会军360大数据规模能力大数据服务器规模超过30000台总存储数据量接近1EB，每天新增超过1PB每天各种数据计算任务10万个，每天处理数据量10PB具备一分钟内调动几十万颗CPU核参与计算能力具备一秒钟处理1TB数据能力360大数据技术路线利用最廉价的PC服务器+开源/自主开发软件构建而成数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100360大数据业务(搜索 广告 杀毒 语音\图像识别…)360大数据架构图产品搜索安全广告语音图像计算机器学习平台实时计算平台M/R计算平台流式计算平台存储文件存储平台表格存储平台对象存储平台块存储平台底层云主机内核硬件HBase平台（HDFS, M/R）运行全球最大的HBase集群之一（3K节点）存储记录总条数达到100万亿条增加索引引擎，满足关系型数据库查询需求增加搜索引擎，对存入平台的所有数据支持字符检索Cassandra平台Cassandra集群总规模全球第一（超过10K节点）增加数据备份，数据冗余EC方案，索引等一系列功能修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验机器学习平台Euler应用计算作业管理任务调度分类聚类回归…分布式向量分布式矩阵计算框架MPI通信框架存储Euler平台算法库协同过滤User-basedItem-based回归逻辑回归机器翻译SMTEMBT其它P