大数据需要高效的存储平台.docxVIP

PAGE 1 PAGE 1 大数据需要高效的存储平台  IDC预估，全球的数据总量将在2020年达到40ZB。40ZB的数据量究竟是多少呢?IDC给出了一个比方：40ZB数据量相当于全球全部沙滩的沙粒总数的57倍。但在如此浩如烟海的数据中，只有不到1%的数据得到了有效分析。数据就像是一座沉睡的宝藏，它需要我们利用大数据这一新架构、新工具，点石成金，变废为宝。  　　大数据由业务驱动  　　为什么在官方的健康组织还没有发布健康趋势之前，Google就能利用它的搜寻引擎精确地预估流行病的爆发?大数据给我们全部人上了一课，也让我们更加坚信，数据本身是有价值的，关键看你如何处理、分析和使用它。  　　云计算不是一种新的技术，而是一种新的IT消费模式。同样，大数据也不是简洁的技术组合，而是对企业商业模式的颠覆和再造，对业务创新和发展起到强大的推动作用，这样的例子已经比比皆是。  　　比如，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要建立一个以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析。在部署了大数据应用系统之后，中信银行信用卡中心实现了近似实时的商业智能(BI)和秒级营销，运营效率得到全面提升。  　　再比如，广东地税依托大数据平台推出的网络发票能够实时采集纳税人的开票数据，实时监控纳税人的开票状况，实时向社会公开开票查询信息，实时为公众查验发票真伪，实现了对纳税人经营行为的全监控。同时，广东地税依托大数据平台还实现了对地税干部的税收执法和行政管理进行全程分析监控，有效防控了各类执法和廉政风险。  　　在互联网、金融、电信、能源、医疗、视频监控、政府等众多行业，大数据正在日益显现出其独特的价值。在企业内部，大数据可以为企业供应更科学的决策依据;在企业外部，大数据还是收集客户信息，建立360°客户视图，让企业实现精准化营销的工具。从表面看，大数据带来的是一种技术上的变革，它有效地提高了企业和社会的生产力，而在这种技术变革的背后是业务需求使然，是人们对提高效率的不断追求在推动这种变革的发生。  “4V”金字塔打通大数据价值通道  　　纵向打穿“4V”  　　经济全球化的趋势促进了大数据的应用需求。企业的管理者需要借助丰富的数据和实时分析工具，提高企业内部的工作效率，同时还要亲密与客户的关系，进一步提高客户满足度。商业模式的转变、营销手段的丰富，要求企业不能在旧有的基础架构平台上缝缝补补，大数据需要一个全新的高效的基础架构平台。  　　大数据这个概念出现前，“海量数据”这样的称呼人们已经使用了许多年。虽然大数据与海量数据之间还是有量上的差距，但是对于许多企业用户来说，没有适合的工具对海量数据进行挖掘是数据价值难以释放的一个主要原因。在大数据分析工具出现前，商业智能、数据挖掘已经进行了多年，为什么数据的价值没有得到企业充分的重视呢?因为以前的数据挖掘是对抽样数据进行分析，而且数据分析是离线的，数据的价值没能得到全面、实时的呈现。  　　那么构建一个可用的大数据系统，应当从何处入手呢?  　　现在，人们已经基本认同了大数据“4V”的特征：第一，Volume表明数据的体量巨大，企业处理的信息总量已经从TB级别跃升到PB级别;第二，Variety表明数据类型繁多，包括结构化、非结构化等类型的数据，尤其是非结构化数据的大幅增长对传统的处理结构化数据为主的架构带来了巨大冲击;第三，Velocity表明实时处理是大数据的一个典型特征，而这也正是它区分于传统数据挖掘技术的关键所在;第四，Value表明数据是有价值的，这也是大数据挖掘的最终目标。  　　“4V”虽然精确地描述出了大数据的基本特点，但是“4V”只是单摆浮搁，并没有从规律的角度将大数据应用的递进关系明确地展示出来。正是基于此，金字塔型“4V”理论呈现了从Volume到Velocity再到Variety，最终到Value的层次化的递进式的创造大数据价值的方法论。  　　详细来说，第一步，企业需要建立一个能够高效处理海量数据的存储架构平台，它既能处理大量的小文件，也能处理单体较大的文件。第二步，这个存储架构平台要具备极高的处理性能，因为大数据对实时处理的要求特别高。第三步，这个存储架构平台要能处理多样化的数据，包括结构化数据和非结构化数据。只有通过前面三步打下的基础，企业用户才能进入最终一步，在一个高效的特地为大数据构建和优化的平台上进行数据分析和挖掘，并最终获得所需的价值。  　　大数据价值的实现过程是一个递进的逐层深入的过程，但是建立高效的存储架构平台是前提，它是大数据落地的基础。  　　Hadoop不是全