永洪科技云计算技术白皮.docxVIP

?2011永洪科技 ?2011永洪科技 第 PAGE \* MERGEFORMAT 5 页 共 NUMPAGES \* MERGEFORMAT 6 页 永洪科技Z产品云计算技术白皮书  TOC \o 1-3 \h \z \u HYPERLINK \l _Toc 永洪科技Z产品云计算技术白皮书 PAGEREF _Toc \h 1 HYPERLINK \l _Toc 产品介绍，包括技术优势和功能简介 PAGEREF _Toc \h 3 HYPERLINK \l _Toc 产品平台和指标的软硬件配置 PAGEREF _Toc \h 3 HYPERLINK \l _Toc Z产品云计算体系架构及工作原理 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 产品核心功能介绍 PAGEREF _Toc \h 6 HYPERLINK \l _Toc 便于计算的存储方式 PAGEREF _Toc \h 6 HYPERLINK \l _Toc 结论 PAGEREF _Toc \h 6 Z产品是北京永洪商智科技有限公司面向海量数据分析型应用领域，定位于[实时][发现型][敏捷]的商业智能解决方案。Z产品系列包括以下几个相辅相成的产品线, 分别是数据仓库，数据加速器，即席查询报表，打印。下面介绍Z产品的云计算技术。 产品介绍，包括技术优势和功能简介 从企业角度看，日益增长的信息已经很难存储在标准关系数据库甚至数据仓库中，例如，怎样查询一个十亿行的表，怎样跨越数据中心所有服务器上的所有日志来进行一个数据查询，更为复杂的是很多数据是非结构化或者半结构化的，这就更难查询了。 Z产品基于分布式架构，包括了分布式计算、分布式存储、分布式通信等模块，为海量数据的存储、计算、分析提供了底层支撑。分布式地操纵大量数据，在海量数据处理上具备了很多的优势： 1. 高容错性：从设计上Z产品云计算技术已经假设了各服务器节点可能宕机，或者网络可能分割。这些问题会导致某些机器不可用。Z产品通过如下手段实现了高容错性： 1.1文件复制； 1.2 数据完整性检测； 元数据多源备份及Log机制； 集群均衡。 高伸缩性： Z产品通过集群可以从一台机器扩大到上千台机器。具备很强的应对业务变化的能力。这里的业务变化可以是几个小时之内业务量从波峰到波谷之间的转换，也可以是中长期的业务增长或者变化。 高效分布式计算：Z产品将商业智能分析行为拆分为可分布式计算的模块，交由云端节点分布计算并汇总，真正意义上做到了海量大数据的即时响应。 Z产品的云计算技术为永洪的数据仓库提供了支持，可以为数据仓库提供导入数据，分布式存储，分布式计算功能，使得永洪的数据仓库可以高效的工作。 产品平台和指标的软硬件配置 ?操作系统：任何支持JDK1.5（或以后版本）的操作系统，包括：windows 2000/XP/2003/vista/win7，Linux，Unix (AIX、FreeBSD)，Solaris，Mac OS X。 ?数据库 支持各种主流数据库，包括Oracle，MYSQL，DB2，SQL Server，Derby，Informix，Access。用户也可以提供满足JDBC的驱动来连接其它数据库。 ?WEB 应用服务器：支持主流的应用服务器，包括：Tomcat, Weblogic, Websphere,jboss。 JDK 环境, 全面支持JDK1.5 及以后版本。 浏览器: Internet Explorer 6 及以后版本, Firefox1.2 及以后版本, chrome，safari。 响应时间：页面响应时间小于3 秒、报表分析查询时间在1-5 秒内。 Z产品云计算架构介绍及工作原理 将多台机器联网，调配成云平台。一台配置成Client服务器，一台配置成Naming服务器，一部分配置成Map服务器，一部分配置成Reduce服务器。 Client服务器：负责接收客户请求，并把分析处理需求分解，交给Map-Reduce框架处理。Client服务器自行制定Job（任务），并通知Reduce服务器和Map服务器执行Task（子任务）。 Naming服务器:负责命名工作。它知道当前有多少台Map服务器和Reduce服务器，及这些服务器的配置状况。Map服务器和Reduce服务器会定期发送各自配置情况，workload(工作量)，CPU，内存等信息。 Map服务器:负责处理Map Task。它被预先部署了客户的原始数据，也被预先部署了Map Task的代码文件集，当它接收到Client服务器发送的Map Task，可以直接执行该