大数据和云计算简介 网络新技术讲座论文.docVIP

大数据与云计算时代 近年来，大数据和云计算发展势不可挡。信息社会，数据量在不断增长，技术在不断进步，大部分企业都能通过大数据获得额外利益。在海量数据的前提下，如果提取、处理和利用数据的成本超过了数据价值本身，那么有价值相当于没价值。来自公有云、私有云以及混合云之上的强大的云计算能力，对于降低数据提取过程中的成本不可或缺。 目前，大数据技术的标准和产业格局尚未形成，在这一领域充满了机遇与挑战。其运用前景是十分光明的。我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域。 大数据与云计算有什么关系？ 云计算与大数据的相同之处： 大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息积淀，即数据存储能力。云计算着眼于“计算”，关注?IT?解决方案，提供?IT?基础架构，看重的是计算能力，即数据处理能力。 没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce编程模型，都是大数据技术的基础。 云计算与大数据的不同之处： 第一，在概念上两者有所不同，云计算改变了 IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。 第二，大数据和云计算的目标受众不同，云计算是卖给 CIO 的技术和产品，是一个进阶的 IT解决方案。而大数据是卖给 CEO、卖给业务层的产品，大数据的决策者是业务层。由于他们能直接感受到来自市场竞争的压力，必须在业务上以更有竞争力的方式战胜对手。 什么是云计算？ 云计算严格地来说并不是一种真正新的技术，而是并行计算等计算模式的进一步演进。由于云计算的主要标准和方案是由企业推进的，也可以说云计算是分布式计算模型的商业实现。可以将云计算归纳为：云计算以虚拟化技术为核心，虚拟化技术将共享的硬件和软件资源抽象化成一个统一的资源池，通过互联网这个载体，向用户按需地提供所需的资源。其特点在于多用户共享、大数据处理与大数据存储。 优势： 云计算作为分布式计算的优势有九点： 自身来说： 一，因为其具有比集中式系统更好的性能价格比，用户花少量的钱就能获得高效能计算。 二，虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。 三，高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统 具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。 四，通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用， 同一个“云”可以同时支撑不同的应用运行。 五，可扩展性。添置一台性能更高的大型机，或者添置一台性能相同的大型机的费用都 比添加几台 PC 的费用高得多。 六，高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能 计算。 对用户而言： 七，不必为文件存储硬件投入任何前期的费用。 八，主机服务提供商会维护用户文件服务器的安全和更新问题。 九，方便的控制访问权限和文件资源管理。 类型： 私有云：私有云是由一个用户组织（例如政府、军队，企业）建立运维的云计算平台，专供组织内部人员使用，不提供对外服务。私有云能够体现云计算的部分优势，例如计算资源的统一管理和动态分配。但是，私有云仍要求组织购买基础设施，建立大型数据中心，投入人力物力来维护数据中心的正常运转，由此可见，私有云系统提高了组织的IT成本，而且使云的规模受到了限制。 社区云：云基础设施由多个组织共同提供，平台由多个组织共同管理。显然，社区云的规模要大于私有云，多个私有云可通过VPN连接到一起组成社区云，以满足多个私有云组织之间整合和安全共享的需求。 公有云：公有云的基础设施由一个提供云计算服务的大型运营组织建立和运维，该运营组织一般是拥有大量计算资源的IT巨头，例如Google、微软、Amazon、百度等大型企业。这些IT公司将云计算服务以“按需购买”的方式销售给一般用户或中小企业群体。用户只需将请求提交给云计算系统，付费租用所需的资源和服务。对用户来说，不需要再投入成本建立数据中心，不需要进行系统的维护，可以专心开发核心的应用服务。 混合云：云基础设施是由两种或两种以上的云（私有云、社区云或公有云）组成，每种云仍然保持独立，但用标准的或专用的技术将它们组合起来，具有数据和应用程序的可移植性，例如混合云可以在云之间通过负载均衡技术应付突发负载。 服务模式： 计算就要有计算环境，一般计算