大数据走向云计算 (12).pptVIP

第12章 云下的大数据应用 随着社会的发展，人们日常生活与工作产生的数据量越来越大，人类已经步入了大数据时代。而云计算作为这个大数据时代的主流技术，对于大数据的应用管理又有着什么样的影响呢？ 可以说，随着数据随时随地通过各种设备被访问和消耗，云计算正在令实时业务洞察力的需求增加。云能力和大数据分析的绝对权力代表着两种创新IT趋势的令人着迷的融合，而这种融合的全面影响尚未展开 大数据为云计算大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步，为全世界新型软、硬件及应用创新提供了前所未有的机会。 12.1云计算如何实现价值 爆炸性增长的数据为企业带来了新的机遇和挑战： 一方面，数据的不断更新扩张给数据存储、管理和分析利用带来了挑战； 另一方面，这些包括个人信息、消费记录在内的海量数据当中，蕴含着大量有价值的信息，可以为企业经营、管理提供参考。 在这些数据当中，埋藏着消费者的消费习惯、市场变化、产品走势以及大量的历史记录，这些关键数据对于企业和组织的后续运营和发展至关重要。企业在这样一个大数据与移动互联时代，最大的挑战不是提供基本的计算，而是怎样提供一个分布式的企业IT服务，让企业在任何地方都可以工作，用户不会受到阻碍，这需要建立云计算环境。 12.2 云与大数据 对于企业来说，要想成功地实现他们的业务目标，能够持续访问这些大批量数据是至关重要的。然而，这对公司们来说却是一个重大的挑战，当然挑战还包括有效地分析这些数据。云计算使企业克服这些挑战，可以说，由于数据在任何地方通过各种设备被访问和消费，这其实是在令实时业务洞察力的需求日益增大。 爆炸式的数据增长刺激了数据分析的市场，公司们也能很容易地看到一个云应用程序。大数据和云计算这两种破坏性趋势进一步转变IT环境，而IT部门的功能角色则成为云计算观察家们都将密切观察的对象。 12.3云计算与大数据的强强联合 云计算中的大数据有几个核心要素，如数据在云端的集合与分享、个人数据的无缝连接（随时、随地、同步）以及数据的跟踪分析和挖掘。 大数据为云计算大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步，为全世界新型软、硬件及应用创新提供了前所未有的机会。 海量的数据需要足够存储来容纳它，快速、低廉价格、绿色的数据中心部署成为关键。最近一年多来，谷歌、Facebook、Rackspace等公司都在纷纷建设新一代的数据中心，大部分都采用更高效、节能、定制化的云服务器，用于大数据存储、挖掘和云计算业务。 12.4大数据时代下的云计算应用部署 在云端部署大数据应用时，企业有各种各样的选择，而且选择的数量还在不断增加中。拥有更多的选择意味着IT团队也要做出一些重要的决定。他们应该信赖云计算设备还是自己构建必要的基础架构呢? 使用大数据设备对于企业来说有很多好处，首先是便捷。但是通常第三方大数据工具的高成本驳斥了这个好处。“厂商配置了这些类型的设备，拥有大数据分析深入直接的经验，因此他们尝试将设备和合适的存储、内存、带宽、软件结合在一起，网络经常是大数据需求中容易忽视的部分，”Evan Quinn，他是Enterprise Strategy Group的分析师。最终，IT部门不再必须确定如何配置这个系统。 12.5云计算在快速消费品行业的应用 云计算以及BI和ECM，成为快速消费品行业发展的主要推动者是由于以下原因： （1）数据移动到云为主，有相应的云存储选项和RDBMS可用性的云。另一方面，共享体系结构理念，确实支持弹性扩展性。它也支持其他的云目标，如降低成本，资源，维护，调整和支持，减少运营开支。 （2）数据工作负载变得越来越沉重。 （3）分析和报告应用程序需要作为服务来满足不同的需求。 （4）BI技术需要经验丰富的企业才完全符合这项测试，从而接受云是最好的选择。 （5）计算和数据存储资源可以根据云的概念，在增量的基础上成功执行计划，并最终支付每次使用。 12.6 大数据在视频监控中应用在智能交通应用上的优势 Hadoop分布式数据库集群中的服务器既是计算节点又是存储节点，并使用HDFS分布式文件系统让集群中的所有节点形成一个统一的文件系统。HDFS分布式文件系统的访问带宽是整个网络的聚合带宽，可以达到几百Gbps以上，完全消除了视频存储的访问带宽限制。英特尔Hadoop发行版在分配搜索任务时，更可以实现存储的节点之上，充分利用本地硬盘带宽，使访问吞吐进一步提高。 视频监控系统已成为城市环境中的一种标准