3.应用分析-云计算论坛.doc

云计算在电信数据分析与商业智能分析中的应用研究 龚德志，段勇 （中国电信股份有限公司上海研究院 上海 200122） 摘要：本文通过对电信数据分析与商业智能分析系统的应用现状进行分析,结合云计算技术的优势及特点,对云计算技术在数据分析与商业智能分析中的应用架构进行研究和分析，并对其应用模式、技术难点及应用前景进行探讨 关键词：云计算；电信；数据分析；商业智能 引言 云计算是近年来新兴的信息技术之一，它将能更好地使用计算资源，更智能地进行大规模数据处理。基于高效的虚拟计算资源，应用程序能以一种灵活且安全的方式实现快速扩展和缩减，从而交付高品质服务。云计算使得IT管理更加轻松，保证快捷响应业务需求。业务或客户服务以极为简化的方式交付，这将大大推进创新和高效决策。 云计算是一种新型业务交付模式，同时也是新型IT基础设施管理方法。通过新型的业务交付模式，用户将通过网络充分利用优化的硬件、软件和网络资源，并以此为基础提供创新的业务服务。新型IT基础设施管理方法让IT部门可以把海量资源作为一个统一的大资源进行管理，支持IT部门在大量增加资源的同时无需显著增加相应的人员进行维护和管理。 云计算通过简单的方式给业务服务和终端消费者服务快速提供计算资源，提供无限扩展和有保障的高品质服务，因此用户可以更加专注于服务本身的创新和决策。云计算是一种成本高效的模式，用于提供流程、应用和服务，并让IT管理更加简单，更快的响应业务需要。这些服务，如计算服务，存储服务，网络服务等，都通过一种简化的方式按需提供，无论用户及用户使用的设备是属于哪种类型。 云计算相关技术 虚拟化 虚拟化可以大幅度提高组织中资源和应用程序的效率和可用性 图1 虚拟化 自动化部署 云计算的一个核心思想是通过自动化的方式尽可能地简化任务，使得用户可以通过自助服务方式快捷地获取所需的资源和能力。部署是基础设施管理中十分重要，也是需要花费很大工作量的一部分，包括操作系统、中间件和应用等不同层次的部署。自动化部署提供简化流程，用户提出申请后由自动化部署平台根据调度和预约自动完成相应的部署，因此用户只需花十几分钟，甚至几分钟就可以得到一个完整的环境，极大地提高了工作效率。 应用规模扩展 云计算提供了一个巨大的资源池，而应用的使用又有不同的负载周期，根据负载对应用的资源进行动态伸缩将可以显著提高资源的有效利用率，即高负载时动态扩展资源，低负载时释放多余的资源，这就是应用规模扩展技术所解决的问题。该技术以应用为基本单位，为不同的应用架构设定不同的集群类型，每一种集群类型都有特定的扩展方式，然后通过监控负载的动态变化，自动为应用集群增加或者减少资源。 分布式文件系统 分布式存储的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求。其特征是，存储资源能够被抽象表示和统一管理，并且能够保证数据读写与操作的安全性、可靠性、性能等各方面要求。 云计算催生了一些优秀的分布式文件系统和云存储服务。最典型的云平台分布式文件系统是Google的GFS(Google File System)和开源的Hadoop。这两种可伸缩的分布式文件系统利用容错和故障恢复机制，有效的克服单节点故障导致的系统故障；实现了大规模海量级的文件存储。 以Hadoop文件系统adoop文件系统（HDFS）是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而和其他的分布式文件系统 的区别也是很明显的HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程 序，HDFS放开一些POSIX的需求去实现流式地访问文件数据一个HDFS集群由一个管理文件系统元数据的Name Node，和存储实际数据的一些Dataode组成。 在分布式文件系统之上，是存储海量结构化数据的分布式存储系统。典型包括，Google的BigTable，开源的HBase等。这些系统可将非结构化数据，例如网页等，存储为分布式的、多维的、有序的图。 以HBase为例。HBase是一个分布式的、面向列的开源数据库HBase是Apache的Hadoop 项目的子项目HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。 HBase使用和Bigtable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此 用户可以给行定义各种不同的列。HBase主要用于需要随机访问，实时读写大数据Master负责告知 client对一个表访问时，应该转向哪台 Region Server；而