.企业代理服务器技术.doc

企业代理服务器技术 1、相关定义 1.1、分布式文件系统的概念 分布式文件系统[5]是云存储系统的核心部分。所谓分布式文件系统,指的是与 存储系统相关的物理资源并不位于本地节点,而是位于专门的存储节点中,本地节点 即客户端通过计算机网络与存储节点相连,存取数据。存储节点本身就是一台完整的 计算机,除了拥有以磁盘为代表的存储资源,还拥有专门的 CPU、内存、网卡,内 部运行着分布式文件系统软件。分布式文件系统软件是整个分布式系统的核心,管理 着整个系统的运作,其架构的好坏决定了整个存储系统的优劣。 近十年来,企业界、学术界推动分布式文件系统结构向着并行化、集群化方向发 展,研制出大量新型的并行分布式文件系统。并行分布式文件系统通常拥有如下特征 : 系统都采用集群方式来实现,集群通常包含两类节点:元数据服务器和数据服务 器。元数据服务器通常只管理名字空间、权限等元数据信息,而底层的磁盘块分配释 个人空间服务,运营 商空间租赁等 企事业单位或 SMB 实现数据备份,数据 归档,集中存储,远 程共享 视频监控,IPTV 等 系统的集中存储,网 站大容量在线存储 等 网络(广域网或互联网)接入,用户认证,权限管理 公用 API 接口,应用软件,web service 等 集群系统 分布式文件系统 网格计算 内容分发 P2P 重复数据删除 数据压缩 数据加密 数据备份 数据容灾 存储虚拟化,存储集中管理,状态监控,维护升级等 存储设备(NFS,FC,iSCSI 等) 访问层 应用接口层 基础管理层 存储层 上海交通大学申请硕士学位论文 第一章 引言 5 放则交由各个数据服务器单独管理。数据服务器提供给外界的是不同于传统磁盘块的 数据对象的访问接口。客户端通常只在执行元数据操作(如打开、创建文件)时和元 数据服务器交互,数据 I/O 操作则直接与数据服务器交互。该架构把磁盘块管理、数 据 I/O 处理分散到多个数据服务器,从而提高了系统的可扩展性。 由于集群包含成百上千个节点并采用廉价的商品硬件,所以节点故障经常发生。 为了保证数据的完整性、系统的可用性,通常把数据冗余地存放在多个数据服务器, 其中一些采用数据副本方式,另一些则采用诸如奇偶校验的擦除码方式。而且,当节 点故障发生后,系统还能自动修复受影响的数据。 其他一些特征还包括了自动容错、性能的负载均衡等简化运维的功能。 目前,新型的分布式文件系统主要分为两类:一类为通用性文件系统,如Lustre[6]、 Panasas[7]、Ceph[8]等,其访问接口符合传统的POSIX标准,通用性较强;另一类则 是非通用性文件系统,它们的访问接口通常是根据特殊应用定制、精简的,比如针对 MapReduce[9]并行计算领域的Google File System[10]和HDFS[11],针对云存储领域的 OpenStack Swift[12]。 1.2、交叉编译概念 在一种计算机环境中运行的编译程序,能编译出在另外一种环境下运行的代 码,就称为这种编译器为交叉编译器,这个编译过程就叫交叉编译过程。 交叉编译概念的出现和流行和嵌入式系统的广泛发展是同步的。我们常用的 计算机软件,都需要通过编译的方式,把使用高级计算机语言编写的代码(比如 C 代码)编译成计算机可以识别和执行的二进制代码。比如,在 Windows 平台 上,可使用 Visual C++开发环境,编写程序并编译成可执行程序。这种方式下, 我们使用 PC 平台上的 Windows 工具开发针对 Windows 本身的可执行程序,这 种编译过程成为 Naive Compilation,中文可理解为本机编译。 然而,在进行嵌入式开发的时,运行程序的目标平台通常具有有限的存储空 间和运算能力,比如常见的 ARM 平台,其一般的静态存储空间是 16 到 64MB, 而 CPU 的主频大概在 33MHZ 到 500MHZ 之间。这种情况下,在 ARM 平台上 进行本机编译就不太可能了,这是因为一般的编译工具链需要很大的存储空间, 并需要很强的 CPU 运算能力,为了解决这个问题,交叉编译工具就应运而生了。 嵌入式开发一般采用 HOST/TARGET 模式,主机(HOST)一般为 X86 体系结构 的 PC,目标板(TARGET)一般为其它体系结构(比如 ARM)的开发板,关键 是在主机平台上生成目标平台上的可执行代码,这也就是所谓的交叉编译。要进 行交叉编译,首先需要在主机平台安装相应的交叉编译工具链(Cross Compilation tool chain),然后用交叉编译工具链编译源代码,最终生成可以在目标平台上运 行的代码。 21 交叉编译工具链是一套集编译器、连接器和 libc 库等组成的开发环境。制 作交叉编译工具链有几个主要步骤