- 1、本文档共11页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
最新精品文档,知识共享!
概述
随着海量数据问题的出现,海量管理能力,多类型,变化快,高可用性,低成本,高端可扩展性等需求给企业数据战略带来了巨大的挑战。企业数据仓库、数据中心的技术选型变得尤其重要!所以在选型之前,有必要对目前市场上各种大数据量的解决方案进行分析。
主流分布式并行处理数据库产品介绍
Greenplum
基础架构
Greenplum是基于Hadoop的一款分布式数据库产品,在处理海量数据方面相比传统数据库有着较大的优势。
Greenplum整体架构如下图:
Network
Network Interconnect
...
...
...
...
MasterSevers
查询解析、优化、分发
SegmentSevers
查询处理、数据存储
SQL
MapReduce
ExternalSources
数据加载
SQL
MapReduce
...
SQL
MapReduce
数据库由Master Severs和Segment Severs通过Interconnect互联组成。
Master主机负责:建立与客户端的连接和管理;SQL的解析并形成执行计划;执行计划向Segment的分发收集Segment的执行结果;Master不存储业务数据,只存储数据字典。
Segment主机负责:业务数据的存储和存取;用户查询SQL的执行。
主要特性
Greenplum整体有如下技术特点:
Shared-nothing架构
海量数据库采用最易于扩展的Shared-nothing架构,每个节点都有自己的操作系统、数据库、硬件资源,节点之间通过网络来通信。
基于gNet Software Interconnect
数据库的内部通信通过基于超级计算的“软件Switch”内部连接层,基于通用的gNet (GigE, 10GigE) NICs/switches在节点间传递消息和数据,采用高扩展协议,支持扩展到1000个以上节点。
并行加载技术
利用并行数据流引擎,数据加载完全并行,加载数据可达到4。5T/小时(理想配置)。并且可以直接通过SQL语句对外部表进行操作
支持行、列压缩存储技术
海量数据库支持ZLIB和QUICKLZ方式的压缩,压缩比可到10:1。压缩数据不一定会带来性能的下降,压缩表通过利用空闲的CPU资源,而减少I/O资源占用。
海量数据库除支持主流的行存储模式外,还支持列存储模式。如果常用的查询只取表中少量字段,则列模式效率更高,如查询需要取表中的大量字段,行模式效率更高。
海量数据库的多种压缩存储技术在提高数据存储能力的同时,也可根据不同应用需求提高查询的效率
主要局限
列存储模式的使用有限制,不支持delete/update操作。
用户不可灵活控制事务的提交,用户提交的处理将被自动视作整体事务,整体提交,整体回滚。
数据库需要额外的空间清理维护(vacuum),给数据库维护带来额外的工作量。
用户不能灵活分配或控制服务器资源。
对磁盘IO有比较高的要求。
备份机制还不完善,没有增量备份。
Vertica
基础架构
与以往常见的行式关系型数据库不同,Vertica 是一种基于列存储(Column-Oriented)的数据库体系结构,这种存储机构更适合在数据仓库存储和商业智能方面发挥特长。
常见的RDBMS 都是面向行(Row-Oriented Database)存储的,在对某一列汇总计算的时候几乎不可避免的要进行额外的I/O 寻址扫描,而面向列存储的数据库能够连续进行I/O 操作,减少了I/O 开销,从而达到数量级上的性能提升。
同时,Vertica 支持海量并行存储(MPP)架构,实现了完全无共享,因此扩展容易,可以利用廉价的硬件来获取高的性能,具有很高的性价比。
如下图,展示的是单节点上的Vertica 的基本体系结构。
Vertica 体系结构
作为关系型数据库,Vertica 的查询SQL 也是在前端被解析和优化的。但与传统的关系型数据库有所不同,Vertica内部是混合存储的,包括两种不同的存储结构:写优化器(WOS)和读优化器(ROS)。
(1) 写优化器WOS(Write-Optimized Store)
是位于主存储器上的一个数据结构,用于有效的支持数据插入和更新操作;数据的存放是无序的,非压缩的。
(2) 读优化器ROS(Read-Optimized Store)
是磁盘物理存储,存放的是排序和压缩后的数据库大块数据,因此这里的查询相比于WOS 性能更好。
(3) Tuple Mover 进程
是Vertica 内部的一个进程,定期的以大数据块的形式把数据从WOS 移到ROS,由于是对整个WOS 操作,TupleMover 一次能非常有效的排序很多记录,最后批量把它们写入磁盘。
在Vertica 内
您可能关注的文档
- loco洛可奶茶加盟11.doc
- MFC 程序设计与 C++相关技术 计算机毕业论文外文翻译11.doc
- OFDM通信系统仿真设计11.doc
- PEP人教版初中英语七年级下册学案练习试题 全册11.doc
- Juniper 防火墙配置手册11.doc
- PID控制器 毕业论文外文翻译11.doc
- plc污水处理系统11.doc
- PVC地板施工组织设计方案 11.doc
- PWM控制直流调速系统设计11.doc
- s7-200plc控制全自动洗衣机11.doc
- 中国行业标准 GM/T 0126-2023HTML密码应用置标语法.pdf
- 《JJF 2121-2024恒转速源校准规范》.pdf
- 餐饮服务中20条处理要点.docx
- 《GM/T 0011-2023可信计算 可信密码支撑平台功能与接口规范》.pdf
- 《JJF 2134-2024旋转流变仪校准规范》.pdf
- JJF 2121-2024恒转速源校准规范.pdf
- 计量规程规范 JJF 2121-2024恒转速源校准规范.pdf
- 《JJF 2118-2024压力式六氟化硫气体密度控制器校验仪校准规范》.pdf
- JJF 2134-2024旋转流变仪校准规范.pdf
- 计量规程规范 JJF 2134-2024旋转流变仪校准规范.pdf
文档评论(0)