善用分层存储及数据去重实现存储优化.docVIP

善用分层存储及数据去重实现存储优化从2006年开始，中国太平洋保险（集团）股份有限公司（以下简称太平洋保险）就逐步实施了数据集中，各分公司的业务逐渐向上海总部集中。2009年，太平洋保险在上海建成了全国大集中的数据中心，存储着90%的公司各类数据，此外还建立了一个同城的灾备中心。据太平洋保险系统处负责人王晓慧介绍，目前太平洋保险的数据存储总量为1.5PB～2PB。由于数据量每年都在大幅增长，太平洋保险平均每年新采购的存储容量的增长率都保持在30%以上。 持续增加的各种新业务和用户数量让太平洋保险在存储方面面临的压力越来越大。除了单纯的数据量大以外，存储系统中还存在大量的重复数据。如何消除这些重复数据，从而进一步对存储系统进行优化和整合是摆在王晓慧和他的技术团队面前的一个难题。“未来，我们会继续在重复数据删除技术的应用上多下一些功夫，此外还要进行有效的数据挖掘，进一步提高存储资源的利用率。”王晓慧表示。 IT基础架构以稳为主 作为金融行业的一个重要分支，保险业在IT基础架构的建设方面与银行等金融机构的需求基本相同。王晓慧表示：“保险业更看重IT基础架构的安全性、灵活性和高可用性。与银行通常使用大型机和专有的系统相比，保险业的一个特点是，基本采用开放系统。” 目前，在太平洋保险的IT基础架构中，60%以上都是基于x86架构的PC服务器或刀片服务器，只有一些核心的数据库才用到少量的小型机。“能用x86架构服务器解决的问题，我们都会优先选择x86架构的服务器。”王晓慧表示，“我们每年都会采购一些新的x86架构的服务器，用于虚拟化应用。不过，我们并不会盲目追求采用最新的技术。保险业最看重的还是系统的稳定性、安全性。为了更好地实现数据中心的集中化，我们通常会采用高密度的刀片服务器，只在一些特殊的应用场合，才会配置独立的PC服务器。” 近两年，随着虚拟化、云计算等技术的兴起，企业的IT基础架构也随之发生了变化。王晓慧介绍说：“我们的数据中心也在朝着虚拟化、云计算这个方向转型。虽然现阶段虚拟化和云计算技术还不是十分成熟，但我们也在进行一些这方面的应用探索。比如，我们在x86架构服务器的虚拟化方面就先走了一步，有了许多成功的应用，但是对小型机和存储的虚拟化应用探索相对滞后。不过，我们一直在跟踪最新的技术发展趋势，会率先在测试和开发平台上尝试采用一些新技术。” 存储优化是核心 在实现了数据大集中以后，大平洋保险着重加强了对存储系统的优化。目前，太平洋保险存储空间的实际使用率达到了85%～90%，这与很多企业只有不足50%的存储利用率相比，已经是一个非常高的水平。但是，王晓慧对此并不十分满意，因为存储设备中还有大量重复的数据。如果能有效消除这些重复的数据，太平洋保险的存储空间还将得到进一步优化。 “在存储资源的利用上，我们事先会做好规划，比如将现有的存储设备按照高端、中端和低端分成类，然后在分层存储理念的指导下，将数据分别存储到最合适的存储介质上。”王晓慧补充说，“近两年来，由于业务发展十分迅速，每一个新业务系统上线时，通常都需要增加一些新的存储资源。经过分析后，我们会提出新的资源容量计划，并以此为依据进行存储升级和扩容。在这个过程中，如果我们能有效利用重复数据删除技术和压缩技术，就能更好地节省存储空间。” 由于太平洋保险采用了多个厂商的存储设备，有的存储设备中自带重复数据删除功能，因此这些存储设备的存储空间优化程度就优于那些没有重复数据删除功能的存储设备。王晓慧表示：“未来，我们希望能在整个存储系统中统一使用重复数据删除和压缩技术，而不是只在局部中使用，只有这样才能更好地优化存储空间，更充分地利用存储资源池，提高数据挖掘的效率。” 在实施分层存储的过程中，太平洋保险并没有采用现在非常流行的固态硬盘（SSD）。“SSD现在的价格普遍较贵，对于更看重存储系统高性价比的我们来说不太适合。”王晓慧介绍说，“我们在采用NetApp的存储阵列时，就用到了NetApp的分层存储、闪存以及重复数据删除技术，完全可以满足我们对存储性能的需求。我们在邮件系统、影像系统中以及在对大量非结构化数据进行处理时，采用了大量NetApp的存储设备。经过实际测试，从性能、可靠性和整体性价比等多方面来综合考量，NetApp的存储设备更适合我们的需要。” 高性价比是优势 太平洋保险与NetApp的合作始于四五年前。当时，太平洋保险的数据存储量并不大，只是在一些小型的邮件系统中采用了NetApp的存储阵列，以满足数据并发访问和数据同步更新的需要。王晓慧介绍说：“在选择存储解决方案时，除了关注产品本身的性能、可扩展性、可管理性、易用性等指标以外，我们通常会优先选择经过实践反复验证过的、并且能与现有系统保持良好兼容性的产品，这也有利于系统的