大数据和云计算[论文].docVIP

WORD格式整理版 优质.参考.资料 大数据与云计算 摘要：近年来，大数据和云计算已经成为社会各界关注的热点话题。秉承“按需服务”理念的“云计算（Cloud computing）”正高速发展，“数据即资源”的“大数据（big data）”时代已经来临 HYPERLINK /KCMS/detail/detail.aspx?QueryID=6CurRec=3recid=filename=TNGL201306060dbname=CJFDLAST2014dbcode=CJFQpr=urlid=yx=uid=WEEvREcwSlJHSldSdnQ1YzR4Q09Cc3BCeFBVczlQOHE2d1poOGlSOStZaUxncFNZMy9rQWt5Ykpvc21KYjNNPQ==v=MTM2OTQ5RFpJUjhlWDFMdXhZUzdEaDFUM3FUcldNMUZyQ1VSTDZmWU9acUZDdmhWYjdBTVNQTVlyRzRIOUxNcVk= [1]。大数据利用对数据处理的实时性、有效性提出了更高要求，需要根据大数据特点对传统的常规数据处理技术进行技术变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。本文所提到的大数据包含着云计算，因为云计算是支撑大数据的平台。 关键词: 大数据 云计算 数据分析 数据挖掘 引言 在学术界，大数据这一概念的提出相对较早。2008 年 9 月，《自然》杂志就推出了名为“大数据”( big data) 的专刊。2011 年5 月，麦肯锡全球研究院发布了名为《大数据: 创新、竞争和生产力的下一个前沿》(Big data: The next frontier for innovation，competition，and productivity)的研究报告，指出大数据将成为企业的核心资产，对海量数据的有效利用将成为企业在竞争中取胜的最有力武器。2012 年，联合国发布大数据政务白皮书，指出大数据可以使用极为丰富的数据资源来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。2012 年 3 月 29日，奥巴马政府发布了《大数据研究与发展计划倡议》，宣布启动对大数据的研发计划，标志着美国把大数据提高到国家战略层面，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。 大数据应用正在风靡全球，大数据精准营销成为企业掌舵者的口头禅，那么大数据真的是无懈可击吗？答案显然是否定的。随着互联网和移动设备的普及，大数据已经在我们的生活中无处不在，而有关大数据与隐私的问题也日益受到关注。毫无疑问，未来可以获得的个人数据量越多，其中的信息量就越大。只要拥有了足够多的数据，我们甚至可能发现有关于一个人的未来信息。另外市场是变化无常并且不可预期的，决策者的创造性思维并不能通过数据得以体现，相反，大数据在压制创新。大数据搜集到的数据的真实性也有待检验。一个人获得的数据和事实越多，预测就越有意义，人的判断也就显得愈发重要。人类、数据集和算法的协同进化将最终决定“大数据”究竟是会创造新财富，还是会摧毁旧价值。 本文首先介绍了云计算的相关概念，云计算为大数据的诞生创造了物质基础，从而引出大数据的相关概念。通过大数据与云计算之间关系的比较，使读者对大数据与云计算有一个清晰的了解。文章介绍了大数据特征、作用以及对大数据分析的方法理论，对大数据的两种处理模式、处理流程以及关键技术进行了分析，提出MapReduce与关系数据库融合技术，为未来大数据的工作提供了一个参考。 云计算简介 正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算 HYPERLINK /KCMS/detail/detail.aspx?QueryID=10CurRec=1recid=filename=CGGB201303260121dbname=CCNDLAST2013dbcode=CCNDpr=urlid=yx=uid=WEEvREcwSlJHSldSdnQ1YzR4Q09Cc3BCeFBVczlQOHE2d1poOGlSOStZaUxncFNZMy9rQWt5Ykpvc21KYjNNPQ==v=MjA3OTg0VEppck1iTEc0SDlMTXJJMURaT29ORFJOS3VoZGhuajk4VG5qcXF4ZEVlTU9VS3J