云计算和大数据知识介简介.docVIP

云计算和大数据知识简介 关于云计算和大数据 （一）云计算 云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。目前广为接受的是美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。简单来说，云计算就是政府和企业将需要计算的信息，通过网络交由云计算平台来计算，然后通过广泛的数据和信息共享，得到针对性比较强的统计信息、数据分析结果。比如，通过云计算平台，分析全国全省的市场运行趋势，这个信息是无法在一台计算机中完成的，一是没有数据量，二是计算量太大，而通过云计算平台，就可以在较短时间甚至是实时得到信息，然后就可以针对市场的情况、潜在的企业投资商、潜在的客户来进行招商引资、生产产品。再比如，淘宝网目前根据网购客户的购买倾向、评价信息来进行数据分析，然后与美的等电器生产商进行大数据信息共享、交换，从而根据用户的需求和爱好，生产出更加适合市场的产品。下一步的工业4.0，就是生产商和用户点对点的生产销售模式，这样的生产方式，必须通过大数据来完成，否则，一台电脑或者几台服务器都无法无成分析、设计、生产的过程。 （二）大数据 大数据，又可以称作巨量数据、海量数据，指的是所涉及的数据量级规模巨大到目前无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。简单的例子：每天乃至每年全国所有移动电话的通话记录就是常见的所谓大数据，这一庞大的数据是人力所根本无法解读的。而通过运营商的服务器整合数据后进行分析，就能得到一些人们感兴趣的信息，例如：中秋节期间长途电话的比例远高于平常，除夕夜短信数量是平常每一天的上万倍等等，都是大数据处理技术所能带给人们的对于庞大数据的独特解读。 大数据有着以下四个显著的特征： 1．数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB约为1015.字节），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。 2．数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。 3．处理速度快。这是大数据区分于传统数据挖掘的最显著特征。在海量的数据面前，处理数据的效率就是企业的生命。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。 4．价值密度低。价值密度的高低与数据总量的大小成反比。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。 大数据技术（例如数据挖掘）就是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统等。 随着经济社会的发展，全球市场经济的融合，大数据显得越来越重要。政府部门可以利用大数据整合行政资源，比如整合发展工信、建设、水利等各行业的项目信息，同时具备与外部资本、国家投资对接的分析功能；可以整合各地方、各级的医疗、民生、教育资源，实现资源配置的科学化。企业可以通过大数据实现生产与市场的对接分析，使生产的产品更加适销对路；可以通过大数据进行宣传，既减少宣传广告的成本，又可以使宣传或广告能及时准确地到达用户。如某位用户在淘宝搜索过某种产品，淘宝通过大数据技术，在用户下次登录淘宝时给用户推荐类似的产品。既方便了用户，又推广了产品。 （三）云计算和大数据的关系 云计算，再一次改变了数据的存储和访问方式。在云计算出现之前，数据大多分散存储在每个人的个人电脑、每家企业的服务器中。云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或者专用应用程序来访问。 一些大型的网站，通过提供基于“云”的服务，积累了大量的数据，成为事实上的“数据中心”。“数据”是这些大型网站最为核心的资产，他们不惜花费高昂的费用，付出巨大的努力，来存储这些数据，谷歌公司甚至购买了单独的水力发电站，为其庞大的数据中心提供充足的电力。