数字图书馆的信息基础架构-IBM存储架构师.ppt

Template Documentation 数字图书馆的信息基础架构樊华存储架构师2009.06.04 国内数字图书馆的建设方兴未艾 数字图书馆的业务特点和面临的挑战 数字图书馆的建设目标-随需应变的信息服务 数字图书馆基础架构建设的三项原则和四项关注点 存储技术名词解释 直联存储 DAS － Direct Attached Storage 网络连接存储 NAS － Network Attached Storage 存储区域网络 SAN － Storage Area Network iSCSI iSCSI － Internet SCSI 磁盘存储技术的历史发展 SAN、iSCSI、NAS的特点 NAS 为解决数据共享问题和优化文件（File）存储而产生的存储技术 文件管理系统在存储设备端，是文件服务+IP的一种技术 多应用于需要文件共享访问的业务系统 SAN 为解决DAS的问题而产生的存储技术 是DAS+网络的一种技术 多应用于需高性能的业务系统 iSCSI 是SAN+IP的一种技术，所以iSCSI也叫IP SAN 多应用于PC服务器平台、Windows（SQL Server、Exchange）、Linux、中小型数据库 存储构架－DAS、SAN、iSCSI、NAS SAN、iSCSI、NAS架设 信息可用 信息可用之一-存储高可用性 信息可用之二-虚拟化技术？ 什么是存储虚拟化？ 在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 隐藏了复杂程度 允许将现有的功能集成使用 摆脱了物理容量的局限 存储虚拟化的不同实现方式 存储虚拟化对数字图书馆的价值 信息可用之三-何谓并行文件系统 支持并行I/O操作 数据物理上分布在多个存储上 提供单一的名称空间视图，实现文件访问的位置独立性 向应用提供数据访问接口 减少磁盘接口和网络带宽造成的瓶颈，优化I/O资源的使用 并行文件系统如何工作 并行文件系统工作方式和扩展方式 并行文件系统的优势一 高可用性 先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点 管理服务器在manager资源池内实现自动故障切换 支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现 支持对元数据和用户数据做replication，保证系统稳定可靠 Rolling Update，不停机升级 支持日志功能，实现系统快速恢复 并行文件系统的优势二 性能 文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能 智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟 分布式的Byte Range级锁管理，包括文件和目录两个级别，允许最大程度的并发访问 分布式元数据服务器，避免元数据处理成为系统瓶颈 支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小 数据块的大小可自定义，16K, 64K, 256K, 512K, 1M，2M，4M 并行文件系统的优势三 可扩展性 最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量 在不停止服务的情况下向集群添加和删除节点 在不停止服务的情况下向文件系统加入和删除磁盘 在不停止服务的情况下修改文件系统inode数目 并行文件系统的优势四-信息生命周期管理 并行文件系统的能力及其对数字图书馆的价值（以GPFS为例） 信息安全 信息安全之一：数字图书馆信息备份与恢复 企业数据集中备份逐渐普及 LAN集中备份 LAN-Free集中备份 Server less备份 数据库的在线数据保护 数字图书馆中数据备份中常见的难题 海量数据的备份保护难题 大批量小文件的数据备份保护难题 NAS数据的备份保护难题 7*24小时业务的备份时间窗难题 对海量文件信息备份常用的技术手段 永久增量备份技术（TSM) 单实例永久增量备份保存 时间点恢复 合并备份技术 (Veritas…) 增量备份保存 合并全备份以利恢复 利用存储快照技术 实现Server less备份减小备份时间窗 用虚拟磁带库提升恢复速度 备份NAS信息 NAS to NAS备份SANPVAULT SnapMirror to tape 信息备份优化方案１ : D-D-T备份方案 优点: 1. 关键服务器备份时间窗极短(秒级) 2. 全面备份整体/数据库/MAIL/文件和桌面机连续数据保护 局限: 1. 依赖于存储和SAN 信息备份优化方案2: IP存储备份解决方案 信息安全之二：自加密存储磁带机 加密从磁带到磁盘的扩展 信息保存 分级存储提供的价值：降低基础架构成本 信息分级存储解决方案架构 增强保护信息更安全 提