大数据技术在724小时数据中心在线运维系统中的应用和高性能计算应用大数据分析.pdf

大数据技术在7*24小时 数据中心在线运维系统中的应用 和高性能计算应用大数据分析 黄新平 北京并行科技有限公司 并行科技介绍 • 成立于2007年，注册资本2908万元，净资产1亿元 • 2015年完成A轮和A+轮融资，融资额7000万元，预计2016 年4月新三板挂牌 • 产品技术型公司，技术研发人员70%，前Intel专家9人 • 公司使命：帮助用户“买好、用好”数据中心 • 互联网+HPC，服务从设计开始／ParaDesign/ParaPlus • Paramon/ Paratune应用运行特征分析软件 • 7*24小时OITS数据中心在线数据分析和在线运维 • EITS企业私有数据中心运营大数据分析和整体方案建设 数据中心大规模机群实时监控管理、应用性 能管理、运营大数据分析挖掘 实时监控管理 应用性能管理 运营大数据挖掘 HPC行业发展大数据问题 • 中国整体HPC系统现状如何 • 我的HPC系统处于全国什么状态 • 我的HPC系统提高点在哪儿，系统搭建如何规划 • 中国整体应用运行现状如何 • 我处于全国什么状态 • 我的应用如何持续提高 • 中国哪儿有公有云资源可以租 • 我的应用跑在哪些超算系统上匹配度最高 • 我的应用如何能够方便的使用超算资源 数据来源说明 • 总集群数180套，总结点数18000台 工作周 有效集群数量 • 平均一套集群100个节点左右 WW11 67 WW12 69 • 去掉有保密要求的系统 WW13 69 WW14 75 • 去掉数据不全的系统（关机、离线等） WW15 76 WW16 76 • 时间跨度从2015/03/09到2015/06/27， WW17 78 约4个月，详见右图 WW18 80 WW19 80 • 大部分系统每1分钟传输一次数据，部 WW20 81 WW21 89 分系统每10分钟传输一次数据，加权 WW22 91 平均处理 WW23 90 WW24 91