teradata高可用性技术综述.doc

Teradata高可用性技术综述 Teradata作为专业的数据仓库提供商，经过数十年的发展，在数据仓库行业中积累了丰富的建设经验和成功案例，著名的国际评测机构Gartner Group在对数据仓库提供厂商进行的硬件、软件评测中，Teradata连接九年综合排名一。eradata数据仓库最显著的特点之一，在数据仓库的建设中一直发挥着举足轻重的作用。同时，经过多年的技术积累和发展，Teradata在高可用性方面提供了多技术保障，并提供完整的解决方案。 Teradata根据高可用性级别的不同，提供了三个层次不同级别的可用性的技术保障，在每种层次中又提供了不同的保障技术。 Teradata提供的缺省方案 在Teradata的架构中，所有硬件产品都是冗余配置，任何一个部件的故障都不会影响到系统的正常运行，在硬件冗余技术上，主要有以下几个方面的体现： BYENT网络： BYENT网络是Teradata专有的一种节点信息交换的私有网络，可以通过多个SMP节点之间的两两互连实现MPP的网络，客户端不能直接访问它，同时，依靠BYNET软硬件技术保证信息传输的可靠性，因此节点之间的数据传输非常快，是同类网络中速度最快的一种传输方式。目前，Teradata 最新的BYNET V3，之间的数据传输速率可达90MB/s BYNET具有两种信息传递机制，即点对点信息传输和信息广播。广播技术在节点互联中非常重要，通过它可以更好地实现节点间并行处理。目前市场上主要有三种节点互连技术，BYNET是唯一具有信息广播功能的，也是唯一通过硬件来保证信息的可靠传输的。 在Teradata数据仓库架构中，在Teradata的体系架构中，包括从节点机柜、磁盘阵列机柜、BYNET机柜、备份机柜等每个单独的机柜都有冗余电源保护，其中包括双路AC电源的输入，3—5路UPS断电保护，可以保证系统在意外断电的情况下，有序的关机，而不会造成系统数据的丢失。RAID，为Redundant?Arrays?of?Independent?Disks的简称，中文为廉价冗余磁盘阵列。作为高性能的存储系统，已经得到了越来越广泛的应用。RAID的级别从RAID概念的提出到现在，已经发展了多个级别，有明确标准级别分别是0、1、2、3、4、5等。但是最常用的是0、1、5三个级别。其它还有6、7、10、30、50等。RAID的使用增加了执行效率，提供了系统运行的稳定性。? 当主机将一个待写入阵列RAID组中的数据发送到阵列时，阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成，该数据可继续存放在Cache中直到Cache满，而且要为新数据腾出空间而必须刷新时或阵列需停机时，控制器会及时将该数据从Cache写入阵列硬盘中。? 这种缓存回写技术使得主机不必等待RAID校验计算过程的完成，即可处理下一个读写任务，这样，主机的读写效率大为增加。当主机命令将一个数据写入硬盘，则阵列控制器将该数据写入缓存最上面的位置，只有新数据才会被控制器按Write-Back?Cache的方式最后写入硬盘。? 从总体性能上说，RAID1比RAID5在系统中体现出更好的性能。 RAID Level 通俗叫法 描述 阵列容量 数据可靠性 I/O效率 最小磁盘需求 1 磁盘镜像 每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。 1*disks 非常高 很高 2 5 不需旋转奇偶检验 是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上，所以在每块硬盘上，既有数据信息也有校验信息 (N-1)*disks 高 较高 3 在相同数据容量的前提下，采用RAID1通常比采用RAID5性能会提高20%左右。在写操作中，RAID5所消耗的缓存资源是RAID1的3倍左右。因此在大量数据写操作中，控制器的内存将会成为系统的资源瓶颈。 在银行业的数据仓库中，写操作非常多，大量的写操作使得RAID1成为数据文件阵列的最好选择，RAID1所能带来的性能优化在写操作中可以非常好的体现出来，而RAID5的写操作比较慢，造成I/O瓶颈，因此目前几乎所有银行客户在生产环境都采用了RAID1。在电信业的数据仓库中，对于I/O的要求会相对小一些，安全性要求也比银行低一些，因此会有部分的电信用户采用RAID5。 任何一块硬盘的损坏，对于RAID1来说，都不会影响系统的正常运行，此时系统转向其镜像硬盘继续读取数据。RIAD1甚至可以在有一半硬盘出现问题的不间断的工作（出现故障的硬盘在不同的RAID组，当然这种情况属于小概率事件）。RAID5只能容忍同一个RAID组中的一块硬盘故障，如果第二块硬盘同时出现故障，