中国计算机学会通讯201210-2大规模数据中心数据存储可靠性.pdfVIP

专题 第 8 卷  第 10 期  2012 年 10 月 大规模数据中心的数据存储可靠性 沈志荣 易乐天 舒继武 关键词 ：数据存储可靠性　大规模数据中心 清华大学 引言 据的可靠性提出了要求。同时，从数据中心级别上 近年来，社交网络、网络新闻媒体和娱乐视 看，由于存储的数据量十分庞大，管理系统的复杂 频等各种信息化服务的开展产生了大量的数据，使 性较高；从存储设备级别上看，由于数据中心为了控 得数据存储规模也呈现爆炸性增长。个人用户的数 制成本，大量采用廉价存储设备，致使数据极易因硬 9 据存储规模已经逐渐从GB （10 字节）级别上升为 件设备故障而丢失。这些都对海量数据存储带来了挑 T B （1012字节）级别，一些大中型企业所需要存储 战。例如，谷歌和亚马逊的数据服务中断事故开始让 的数据甚至已经上升到了P B （1015字节）级别甚至 人们担忧自己存储在数据中心的数据能否确保可靠。 是E B （1018字节）级别。随着云计算和物联网的迅 因此，如何提高大规模数据中心的数据存储可靠性成 速发展，越来越多的个人和企业选择将自己的业务 为了近年来的研究重点。 迁移到大规模的数据中心，以此来降低本地的硬件 成本和系统维护费用。数据变得越来越重要，其价 数据存储的可靠性 值不仅体现在数据内容本身，还体现在为业务发展 所带来的利益，用户体验、公司盈利状况等等对数 数据存储的可靠性研究包括磁盘阵列的可靠性 和文件系统的可靠性两个方面。针 对大规模数据中心的数据存储可靠 性问题，下面将介绍上述两方面的 研究情况。 扇区错误 磁盘阵列的可靠性 长期以来，磁盘作为主流的存 储设备，存储容量不断增长，已从 不可检测读写 6 磁盘错误检测 错误 最初的MB （10 字节）级发展到如今 的TB级。一个PB级的数据中心需要 不可检测磁盘错误 采用上千个磁盘，一个E B级的数据 磁盘故障 中心需要采用上百万个磁盘。磁盘 可检测磁盘错误 作为一种机械式存储设备，它的可 靠性一直没有得到显著地改善，所 图1　磁盘错误