详解企业大数据FineBI服务器的集群部署.pdfVIP

详解企业大数据 FineBI 服务器的集群部署 计算机集群简称集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件 连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集 群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。 集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单 个计算机，比如工作站或超级计算机性能价格比要高得多。 1. FineBI 集群部署 FineBI 采用负载均衡集群的模式，将多台服务器创建为一个集群服务器，从而有效提高 整个系统的性能。下面为大家简单介绍下 FineBI 集群部署的几个环节。 注：FineBI 集群配置需要 Linux 系统下操作，建议由熟悉 Linux 系统的人员进行配置部 署。 1.1 数据存储 在集群的存储上，我们通过 ceph 做到多块物理硬盘组件一块逻辑硬盘，从而实现所有 节点都是在访问同一地址。如下图所示，每个节点的实际数据可能存储在 3 个硬盘中的任何 位置，但是通过外部的 Ceph ，访问到的都是同一个目录下的文件。具体查看Ceph 安装章 节。 1.2 系统数据处理 单节点的情况下，利用缓存和通过操作系统的文件系统来保存数据的方式，在集群模式 下不再合适。主要原因在于数据的一致性问题，多个节点可能进行同时读写，更改系统数据， 最终势必会造成系统整体数据不一致。最好的解决方案是系统配置数据全部交给 MySQL 等 关系型数据库来管理。但由于这样工程量浩大，更主要的原因为许多代码缺少维护，贸然更 改可能带来意想不到的 bug。于是我们采用一种折中的做法。 在集群中选出一台节点作为 主节点，简称 M。其余节点担当子节点，简称 S。当 S 上所有与更改系统配置相关的操作， 全部发送到 M 上进行处理。M 负责来更改系统状态，维护整个系统到底一致的状态。 S 节 点放弃全部的缓存数据，读取状态的时候，不再通过读取自身数据，而是通过向 M 发送读 取请求，获得 M 上的数据。M 节点自身可以存在缓存数据。 其他数据 S 节点与 M 节点是 等同的，不存在从属关系。 1.3 负载均衡 FineBI 的集群服务器使用反向代理负载均衡，使用代理服务器可以将请求转发给集群内 部的服务器，可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能， 具备额外的安全性，外部客户不能直接访问真实的服务器。并 且实现起来可以实现较好的 负载均衡策略，将负载可以非常均衡的分给集群内部服务器，不会出现负载集中到某个子节 点的偶然现象。