高校大数据平台设计和实践.PDFVIP

高校大数据平台设计与实践 王永坤 上海交通大学网络信息中心 数据平台 数据的导入、存储、处理、分析、共享于一体的软 件和硬件平台。 数据平台现状– 百花齐放 硬件 • 厂商提供可定制的硬件以及参考配置 • Open Compute Project也提供大公司等的硬件设计 软件 • 丰富的开源解决方案，Hadoop，Spark，…… • 活跃的开源社区 平台方案 • 企业平台提供商：Cloudera，Hortonworks，星环等 云方案 • AWS, Google Cloud Big Data Products, Microsoft Azure Hadoop • 阿里云大数据服务ODPS 、天池、及数加；腾讯大数据；百度大 数据+ 已有数据平台的挑战 成本 配置灵活性 知识产权问题 数据共享安全问题 我们的目标 完全使用开源解决方案 • 成本 • 维护 依托高校 • 智力资源多 • 成本低 • 创新性好 存储、计算、和代码 • 减少数据和代码的移动 数据平台架构 ） 多功能用户接口 实时报表 a k f a K （ 数据分析 据 数 数据科学 化 构 认证及访问控制 结 非 高可用文件系统 高可用调度系统 擎 L 库 监控 HDFS HA 主 引 Q 仓 ） S p 索 o 码 o 主 备 YARN HA N o 搜 代 q 备 S （ 据 数 化 高存储 标准 构 结 服务器 机柜 数据平台硬件 一期：CPU ：512核；内存：～3TB ；存储：～1PB；网络： 2*10Gbps；配置和运维：我自己  二期：约20-30倍扩容，～30PB 服务器(2U)配置 CPU 2个Intel Xeon E5-2640v3 8核16线程 内存 256GB DDR4 4块Intel 480GB DC S3510 SSD 控制节点 (RAID10) 存储 计算存储 12块12Gbps SAS 6TB硬盘 节点 (JBOD) 2块2.5寸SAS 10K 600GB (OS) 2个万兆(10G)SFP+(链路聚合为20G) 网络 2个千兆(1G)RJ45 (远程控制） IPMI 口