起底大数据-一篇文章告诉你大数据前世今生.docVIP

起底大数据:一篇文章告诉你大数据前世今生 　　由于云计算所代表的美好网络应用模式，它被Google提出来以后便不断走热。近几年，云计算在IT界的流行程度超乎想象，大家各取所需地不断创造出各种形式的云概念，一时间凡是与IT有点联系的公司几乎都扯上了云。在云尚未聚雨带来甘甜之时，大数据的概念也正在被热炒起来。数据是公司经营决策的重要参考早已是人们的共识，那为什么大数据会突然聚焦了如此多的目光？大数据和云计算又是什么样的关系？ 火红的大数据 2011年5月，麦肯锡全球研究院发布了名为《大数据：创新、竞争和生产力的下一个前沿》的研究报告，报告中指出大数据将成为企业的核心资产，对大数据的分析将成为竞争的关键，并会引发新一轮生产力的增长与创新，对海量数据的有效利用将成为企业在竞争中取胜的最有利武器。麦肯锡还预测通过对大数据的合理使用可以使零售业的经营利润提高60%以上。 麦肯锡的报告发出后，大数据的概念迅速得到了IT界的热捧。事实上，全球互联网巨头早就意识到了大数据下隐藏的金矿，纷纷针对大数据领域进行布局。例如亚马逊一直非常强调数据驱动的管理思想，其早在2009年就推出了亚马逊弹性MapReduce（Amazon Elastic MapReduce），这是一种编程模型，用于大规模数据集（大于1TB）的并行运算。据公开资料显示，自2009年开始互联网巨头针对大数据领域的收购兼并至少有13起，涉及的企业包括EMC、IBM、Oracle和HP。其中最为活跃的当属EMC，先后收购了7家数据领域的创新企业。此外，2011年EMC还宣布在原EMC中国实验室和EMC首席技术官办公室技术创投组的基础上，组建EMC中国研究院。EMC中国研究院下设三个实验室：大数据实验室，云基础构建实验室，云平台与应用实验室。 在美国，对大数据的关注很快上升到了国家竞争的战略层面。去年3月29日，奥巴马政府发布了《大数据研究与发展计划倡议》，宣布启动对大数据的研发计划，6个联邦部门和机构将新投入超过2亿美金推动大数据提取、存储、分析、发现等领域技术与工具的发展。同时奥巴马政府号召面临挑战的行业、科研院所与非营利机构和政府携手，共同迎接大数据所创造的机会。 大数据是个噱头吗 其实数据的重要性早已是一个无需多加证明的命题，许多领域都有使用数据提升生产力的经典案例。那么为何今日大数据突然走红？这会是又一个噱头吗？ 通常情况下我们在数据分析中运用的大多是以表格形式存储于关系数据库中的结构化数据，主要涉及的也仅仅是一些企业的经营信息。事实上，由于社交网络、物联网、移动互联网等行业的不断发展，产生了大量的半结构化数据和非结构化数据。我们在网络上的任何一次登陆、点击、评论和转发等都可以被完整的记录和保存下来，这构成了我们网络化的行为路径。这些数据里面包含了我们的消费行为、消费心理、消费关联等太多对企业决策有价值的信息，而这些数据源尚没有被大多数企业采用。Forrester估计，在一般情况下企业仅仅使用了他们所能获得数据中的不到5%。考虑到大多数尚没有被采集到的大数据，实际应用比例会更低。 毫无疑问，企业在数据分析的过程中，采用的数据越全面，分析的结果越接近于真实。大数据受到热捧的原因在于大家看到了企业能够从这些海量的数据中获取某些洞见，从而更大程度的发挥企业现有业务的能量。数据资产可以作为企业业务的润滑剂，对数据资产的盘活是未来提升企业竞争力的关键。 大数据的威力 网上一篇疯传的帖子《互联网的一天》中指出，“每天互联网上要发出2940亿封邮件，200万篇博客，1288个新应用可供下载，数据流量可以刻1.68亿张DVD光盘。”这使我们对互联网上产生的数据量之大有了直观的认识。IDC在其发布的报告中也指出，2011年产生了1.8ZB（也就是1.8万亿GB）的大数据，这相当于每位美国人每分钟写3条Tweet，而且还是不停地写2.6976万年，未来十年全球大数据将增加50倍，管理数据仓库的服务器的数量也将相应增加10倍以满足需求。 随着人们对大数据的重视以及数据量的不断增多，动辄以PB或者EB计量的大数据，将远远超出传统数据库软件工具采集、存储以及组织和分析的能力，这将给企业的存储架构以及数据中心的基础设施带来巨大的挑战和改变，由此也会带来云计算、数据仓库、数据挖掘等技术和应用的提升或者根本性改变。 大数据的出现虽然带来了很多挑战，但是其所能带来的商业价值也无可估量。IDC在其关于大数据的报告中，阐述了利用大数据的商业价值：领军企业与其他企业之间最大的显著性差别在于新数据类型的引入。那些没有引入新的分析技术和新的数据类型的企业，不太可能成为其行业的领军者。 源于对大数据的重视和对消费行为等非结构化数据的分析，沃尔玛“