分布并行计算机技术课程论文解析.doc

分布并行计算机技术课程论文 针对12306.cn网站的特点，给出满足该应用需求的设计方案。要求至少包括：体系结构、核心硬件及数量、互联网络、作业调度方法、系统管理方法等设计方案及其分析，说明你的方案能否满足应用需求。 答： 123063.cn订票网站具有分时段、分区域、高并发等特点，官方公布日均PV达10亿，在高峰时段有千万PV的访问量.如何确保在高峰时段正常提供服务是一个非常大的挑战，放眼春运期间网上订票系统，表现为页面访问延时大、登录异常、支付失败等问题。根据以上特点提出如下设计方案： 体系结构 采用大规模并行处理系统，由成百上千计算节点组成并行处理计算机系统，每个计算节点配置一个或多个处理器，各个节点相对独立，有各自独立的内存模块和操作系统。用交换机组成一个三维双向环网互联，每个三维网络连接多个节点，三维网络之间用以千兆还通道构建的核心网络连接，核心网络同时连接外设及互联网。 图1 体系结构 如上图1通过云计算平台虚拟化技术，将若干X86服务器的内存集中起来，组成最高可达数十TB的内存资源池，将全部数据加载到内存中，进行内存计算。计算过程本身不需要读写磁盘，只是定期将数据同步或异步方式写到磁盘。在分布式集群中保存了多份数据，任何一台机器故障，其它机器上还有备份数据，因此通常不用担心数据丢失，而且有磁盘数据作为备份。把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。 ，每节点配备颗Xeon E5 12核心的中央处理器 中央处理器为英特尔提供的，运作时钟频率为2.2GHz的Xeon E5-2692v2 12核心处理器，基于英特尔Ivy Bridge微架构（Ivy Bridge-EX核心），采用22纳米制程，峰值性能0.2112TFLOPS。 互联网络 互联网络分节点内部的通信和节点之间的互联两部分。 节点内部的通信 在节点内部使用总线和共享存储器进行信息的交换。在64G的公共内存中划出一块公共的通信缓冲区，在这个缓冲区内维持1个消息队列，分别对应于每个CPU。每个原件以固定的周期查询自己的消息队列，来检查是否有传递给自己的消息；每个器件于其他器件通信时将消息放入相应的消息队列即可。 2）节点之间的互联 节点之间的互联网络采用千兆以太网相互连通，每个节点上安置一个网卡。核心网络使用以太网交换机连成多个三维立方结构（图2所示），但不仅局限于8个节点。 、 图2 交换机之间的立方体结构 每台交换机和若干个节点相连（图3所示），若干立方体之间使用路由器连接，路由器之间形成最核心的网络（图4所示）。即每个交换机组成的立方体相当于一个局域网，路由器负责连接不同的局域网。节点的地址使用网卡的硬件地址。路由器中的路由表采用完全自适应算法，动态的添加和修改路由表。 图3 交换机与节点之间的链接 图5 路由器之间的核心网络 作业调度 作业调度按照先来先服务的原则，在节点中选取满足作业所需资源的节点分配给作业，如果该节点的负载大于最大负载，则此节点此时不再分配作业，如果该节点的负载小于最小负载，则将作业分配给此节点，最大负载与最小负载阈值设定可以根据系统管理员经验值所得，节点的最小负载保证队列中所有作业在此负载的节点上可以执行。如果此节点的负载在最大负载与最小负载之间，则根据节点上最长作业的结束时间为依据，找出作业结束时间最早的节点，将作业派发到该节点。该调度算法可以有效地避免系统中出现节点负载过重或过轻的情况，提高系统负载均衡效率。 系统管理方法 岗位管理 高性能与网格计算平台现场维护工作包括系统平台维护、应用维护、网络设备维护、平台监控、安全管理、客户综合服务等方面。维护人员应具备服务器、网络设备、数据库、操作系统、应用软件、计算机安全等维护技能，具备较强的故障及应急处理能力。 高性能与网格计算平台岗位采用岗位人员后备制度：一个岗位配备两名以上系统管理员，一个管理员主要负责平台日常的管理工作，其他管理员（助理管理员）应掌握平台情况和管理知识，并在主要管理员外出的时候担负管理平台的职责。高性能与网格计算平台重大故障恢复或配置变更操作必须在两名以上管理员在场的情况下才能进行。 平台环境的运行维护，必须保证节点7×24小时在线，保证应用系统资源的正常运行。维护人员应该确保在5x8或7x24个人通信的畅通以及2小时到达现场的能力。 作业管理 管理员根据用户及其作业内容设定用户作业及其使用计算资源的优先级。短作业适当提高优先等级，以便减少系统平均周转时间。 3.配置变更和故障管理 1)变更是指网络设备、服务器设备、应用系统等软硬件的版本、程序、配置等的改变。变更分为一般变更、重大变更和紧急变更。