互联网存储解决方案.docxVIP

【引言】存储系统对总数高达数十亿数量级小文件的检索速度往往难以令人满意，且管理困难。面对爆炸式的数据增长，存储系统没有可弹性扩容和收缩的功能。网站视频的播放经常出现暂停、缓冲、甚至中断的现象，耗尽了网络用户的耐心。庞大的随机性访问导致Cache 命中率极低，给存储带来巨大压力。互联网存储解决方案简述1、背景近几年信息技术在飞速发展，互联网行业发生着日新月异的变化。互联网由原本的WEB1.0时代过渡到了WEB2.0 时代，逐渐显示出三个特征：原创性、互动性、聚合性。由此用户与互联网之间的交互方式发生了巨大的变化，用户从内容的被动接收者成为了内容的创造者。互联网已经成为用户彰现个性的场所：越来越多的人在互联网上创建了播客、博客和相册等个人相关的内容。2、挑战WEB2.0 带来诸多的变化大大丰富了互联网内容，大量个性图片和文章涌现，给互联网相关的支撑平台提出了更高的需求。其中存储系统必须面对如下的挑战：数目庞大的小文件检索缓慢每天所产生上百万个图片、FLASH、文章等大约几十KB的小文件将会给存储系统带来巨大的压力。现有存储系统对高达数亿、数十亿数量文件的检索速度往往难以令人满意，并且由于单目录下文件数量的限制，文件的管理也极为困难。迅速增加的数据量随着WEB2.0 应用用户的增多，数据呈爆炸性增长，存储系统如果没有灵活的可扩展性，存储平台的添加和管理将会变的异常困难。 业务访问连续性要求高负责流媒体文件的内容交付式网络需要提供文件快速交付，用户绝不会容忍缓慢的视频播放、暂停缓冲或网站中断。研究表明，网络用户能够承受等待信息检索的时间是2秒！庞大的并发访问量用户为了提高应用对文件的访问效率，往往会在前端配置一个稍大容量的缓存。但由于小文件的数量极其庞大，应用对这些文件访问的随机性非常高，使得Cache 命中率极低，缓存失去了应有的作用，导致应用需要直接到后端存储系统上读取数据，给存储系统带来了极大的压力。3、华存解决方案HuaStore 集群存储系统是一款针对海量数据存储应用而设计的大规模通用文件共享集群存储系统，采用通用的硬件设备作为构建单元，为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口。HuaStore 大规模集群存储系统为用户彻底解决了海量小文件存储的难题，凭借领先的技术优势为WEB2.0 应用提供高性能、高可靠的存储系统，帮助企业提升竞争力。HuaStore系统采用集群化的结构提供了简单的管理方式，并支持动态在线扩容；对外提供单一的系统映像，可以做到真正按需购买，随时扩容，节约了用户的一次性投资。4、方案亮点近乎无限的海量文件管理和极高的文件检索效率HuaStore 大规模集群存储系统拥有高效率的多元数据服务器集群技术和高效的海量文件检索技术，在存放上百亿文件的同时保持极高的文件检索效率。HuaStore 大规模集群存储系统是目前业界唯一一款能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时，仍然能够提供每秒数万的文件检索效率。在实际使用中，用户可以使用层次简单的目录结构存放大量的文件，即使在前端的Cache 命中率极低的情况下，应用也能够快速的从后端存储系统上读取数据。HuaStore 大规模集群存储系统的该项特点加速了数据密集型应用的数据交付。PB级容量的单一文件系统HuaStore集群存储系统在单一文件系统下可轻易扩展到300PB，扩展的过程中可以保持高性能和高可靠性。单一的文件系统降低了管理维护的复杂度，提高了生产效率。高IO吞吐量HuaStore集群存储系统可以帮助互联网公司消除信息孤岛，所有的数据都存放在单一的文件系统下面，对外提供极高的访问速度。HuaStore集群存储系统采用了带外的元数据管理方式，并且利用分布式的存储和分布式的访问技术，计算节点到智能存储节点之间实现高效率的直接数据访问。HuaStore系统所提供的数据IO性能几乎就是每台智能存储节点性能相加的总和，可轻松提供数十GB/s级的IO吞吐量。灵活在线扩容能力HuaStore存储系统支持动态在线扩容，可以动态的添加单块磁盘或单台智能存储节点，扩展过程中无须终止当前业务，新增容量即插即用。扩容之后，管理员可以在适当的时机启动负载均衡，使数据平均分配到各个智能存储节点。负载均衡过程同时兼顾数据的活跃性，使得负载均衡结束后热点数据也能够均衡的分布在各个智能存储节点上，提高系统的整体效率，达到性能线性增长的效果。灵活的在线硬件更新替换HuaStore 存储系统采用了高效的全系统规模数据高可用技术，彻底消除存储系统中的单点故障，确保用户的应用持续稳定地运行。HuaStore采取了全局冗余机制，用户可以将指定的数据设置相应的冗余度，冗余数据存放在不同的服务器上将确保出现智能存储节点宕机时数据不会丢失，也不会出现服务