混合云为凡客破解冷热数据处理难题.docVIP

混合云为凡客破解冷热数据处理难题 　　在信息爆炸的大数据时代，如何存储数据成了企业一大难题。以往大多数人更多的关注的是那些活动频繁、被访问次数多的热数据的存储和处理。其实对于很多企业来说，那些活动不频繁，很少访问甚至有可能永远不会被访问的冷数据的存储很可能是其未来最主要的费用支出。凡客诚品（以下简称凡客）利用混合云解决方案很好地解决了冷热数据该如何处理的问题，重要的、常用的数据存在本地，不常用的数据则归档、备份在云端，效率和成本同时得以解决。 　　原数据备份模式急需改变 　　作为一家以快时尚服装和鞋帽为主的生产型企业，同时更是一家电子商务公司或者互联网企业，从业务形态而言，凡客网站无论从用户浏览到购物下单，还是仓储调拨到物流配送，整个过程中都会产生大量的业务数据。这些数据是凡客整个公司业务运营的基础，也是整个B2C平台稳定运行的根本。因此对这些数据提出了极高的安全性要求，包括时效性、有效性、和完整性。 　　从网站整体架构来看，必然存在将应用、服务、数据进行分层处理，并且按照不同业务进行资源分割。在每一个业务模块的每一个层面，都会产生不同类型的数据。尽管每个层面，每个模块都会有自己的数据处理机制，但是仍然需要一套完整的数据处理系统。 　　无论是业务形态还是网站整体架构，数据产生与数据处理都是其网站运行的关键。而数据备份作为数据处理系统中的最后一个环节，显得格外重要。它保证了所有业务数据在离线状态的完整性，并且保证在发生数据丢失的时候，能够从备份中将数据恢复出来。 　　凡客原先的数据备份系统是通过使用存储和磁带机的方式，构建的一套独立的备份管理系统。随着业务量的上升，网站架构越来越复杂，原有的备份系统受到自身的扩展性和结构限制，无法满足长期的需求。最终将备份系统分割多个备份服务组，每组备份服务器支撑一部分业务系统，以此来解决扩展性问题。但随之而来的，是管理复杂度的升高，以及运行成本和管理成本的升高。凡客急需一套完善的数据备份解决方案，能对数据进行更有限的管控。 　　凡客初次尝试 　　StorSimple 　　随着云服务的快速普及，越来越多的企业开始尝试这一全新的存储方式，但随之而来的问题便是如何能够更加智能化、自动化的在云端和本地服务器之间快速存储，并且更加方便数据的调用，同时还能够节约成本。 　　微软力推的StorSimple存储解决方案就是专门针对这一使用需求。通过使用StorSimple，凡客形成了一整套的数据备份解决方案，同时提供常规性和偶发性的备份需求。以StorSimple为核心，省略了存储设备和磁带机设备，极大的简化了部署和维护工作的复杂度。（见图） 　　图中的右边部分，是凡客应对常规性备份需求的解决方案。通过启用一组备份服务器来集中管理日常的备份数据，包括数据库备份、网站访问日志等。备份服务器中直接接入StorSimple分配的Volume，并根据不同业务需求，分配不同的存储目录，直接映射成可访问的共享地址，需要备份的应用系统，无论是DB的数据还是Web产生的数据，均通过备份后产生备份数据，并传输到共享目录即可。这样，常规备份数据以共享方式为线上业务提供服务，既可以确保备份数据的实时在线，又可以随时取用，并且还可以将使用率低的数据放在成本最低的Windows Azure存储中。 　　图的左边部分，是凡客针对一些临时性和特殊性的备份需求，通过更为简化的方式来实现。凡客的BI服务器保存着大量的网站历史数据，而图片服务器则存储着大量的归档数据。针对这类使用价值相对独立的数据，凡客会依据数据量的增长速度，不定时的将数据离线备份出来。这个时候，通过StorSimple，直接为业务服务器分配Volume，用于这些数据的备份存储，并在StorSimple统一管控，利用StorSimple高效的去重功能，压缩存储空间，并根据数据的使用率优化存储介质的选择，这简化了存储结构，同时优化了存储管理。 　　架构简化 成本降低 　　凡客IDC数据中心运维助理总监胡毕胜在接受采访时说：“StorSimple的使用，为我们形成了一套完整的数据备份解决方案，从系统架构层面来看，颠覆了我们过去的传统做法，在简化架构的同时做到了更好的易用性。其卓越的去重和压缩能力显着削减了存储成本。在数据安全性与数据恢复方面，StorSimple更展现出了它极佳的创新思路和优秀的技术水准，让人印象深刻。” 　　颠覆传统结构 StorSimple使凡客既可以构建一种集中式架构的备份系统满足重要和关键的长期备份需求，也可以同时采用创建Volume的方式直接为一些临时性性、突发性的备份需求提供保障。更重要的是，在做到满足不同需求和灵活性的同时，它仍然是一套完整的系统，便于管理和维护。这种简化，从另一个方面，甚至可以说是对传统数据备份系