大数据培训_Module12FusionInsightHD集成设计总结.pptxVIP

FusionInsight HD 集成设计 目标 第1页 ? 学完本课程后，您将能够: ? 了解集群组网设计 ? 了解集群节点部署规划 ? 了解集群磁盘规划 ? 了解集群设计案例 目录 第2页 1. 简介 2. 集群组网设计 3. 集群节点部署规划 4. 集群磁盘规划 5. 设计案例 约束 第3页 约束项 描述 OS SUSE 11 SP3 for AMD64 Intel64 RedHat-6.4-x86_64 浏览器 建议使用Internet Explorer 9标准模式或Google Chrome 21及以上版本 带宽 建议采用10GE网络(根据典型的流量模型评估 结果，为了让节点间的交换带宽不成为系统 性能的瓶颈) IP规划 当采用双平面隔离组网时，集群中每个节点有两 个IP地址，包括业务平面IP地址和管理平面IP地址 硬盘分区规则 当集群节点规模较小时（如小于30节点），管理 节点的IO负载一般不高，管理节点的元数据可采 用共盘分区的模式；节点规格较大(大于30节点) 建议采用分盘的模式 集群评估 第4页 1.业务类型众多（例如以存储为主或者以计算为主），Hadoop集群业务处理复杂，涉及因素众多， 同时没有直接的参考，所以没法给出一个万能的计算公式； 2.本业务模型仅是在一系列尽量贴近实际业务的假设下，给出的一个理论业务模型；后续会随着实 际测试结果，做出调整，如下几种典型场景供参考，根据数据量确定集群规模： ? 6节点Mini业务模型： 系统并发Map总个数：60个 HBase 客户端并发个数：10个(单个客户端发送写请求个数50次/秒，每次50个记录数) ? 200节点业务模型： 系统并发Map总个数：3900个 HBase 客户端并发个数：100个(场景同上) ? 500节点业务模型： 系统并发Map总个数：9900个 HBase 客户端并发个数：200个(场景同上) 目录 第5页 1. 简介 2. 集群组网设计 3. 集群节点部署规划 4. 集群磁盘规划 5. 设计案例 解决方案介绍 统一管理 Manager/Kerberos/Ldap H D F S H B a s e H I v e S p a r k R e d I s Y a M r n S o l r M i n e r P P M F a r m e r S t o r O o z i m e Z K R FusionInsight HD FusionInsight Farmer FusionInsight Miner FusionInsight Stream FusionInsight MPPDB 组件 子产品 解决方案 L o a d e r K a f K a H U E a h o u t E L K F l u m e FusionInsight HD: FusionInsight的Hadoop是指广义的 hadoop生态圈，提供商用Hadoop基 础平台 FusionInsight Stream: 提供实时流处理平台 FusionInsight Farmer : 提供数据服务框架，大数据实时应用 使能器，支撑企业快速开发基于大数 据平台的应用。 FusionInsight Miner : 提供数据挖掘服务集，基于分布式内 存计算的数据分析平台 FusionInsight MPPDB : 提供相对独立部署的通用MPP数据库， 用于性能较高的交互分析场景 FusionInsight Archer : 支持挖掘模型在在线系统的打分预测， 根据客户特征快速部署企业推荐系统 M H i g r a p h R e c o m m e n d e r 应用场景 广告推荐 理财推荐 历史数据管理 大数据融合 第6页 推荐系统 Recommender Install Config Auth Upgrade Patch Alarm Monitor Adapter Adapter Adapter Adapter Adapter Adapter Adapter 交换机 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 基本框1 交换机 交换机 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 业务域 管理域 堆叠 堆叠 业务网络 管理网络 基本框2 基本框3 交换机 交换机 堆叠 扩展框1 10GE 10GE 交换机 交换机 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 服务器 集群组网设计——二层组网 第7页 组网要点： ? 集群内二层交换，即集群节 点在一个子网里 适用场景： ?