- 1、本文档共45页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据库技术改造方案
V2.0
背景
XXXXX系统,其数据库内存放的数据量较大且要求读写速度快,目前利用的Couchbase数据库虽然能满足读写速度上的要求,但服务器必须满足较大内存且各个服务节点(服务器)都是对等存在的,一个节点出现问题并不会影响其他节点正常运行,但总内存容量会缩小。
当前通过对XXXXX更多数据存储到内存,以达到提高数据的读写速率;现把两台服务器内存合并为一个内存bucket,这样的方案导致一台机器出现宕机时 failover 过程有不可用时间,并且部分数据有丢失的可能,且在高负载系统上有假死现象;如果再增加节点且节点的内存只有达到或超过当前节点才能发挥服务器的性能,否则就要缩减Couchbase建立的bucket的占用内存,服务器就不能合理发挥它的性能作用,由此拥有大量的对比数据就需要提供更好且合理的NOSQL数据库。
Couchbase数据库本身也存在以下缺点:
1.Couchbase 的存储方式为 Key/Value,但 Value 的类型很为单一,不支持数组。另外也不会自动创建doc id,需要为每一文档指定一个用于存储的 Document Indentifer;
2.各种组件拼接而成,都是c++实现,导致复杂度过高,遇到奇怪的性能问题排查比较困难,(中文)文档比较欠缺;
3.采用缓存全部key的策略,需要大量内存。节点宕机时 failover 过程有不可用时间,并且有部分数据丢失的可能,在高负载系统上有假死现象;
4.逐渐倾向于闭源,社区版本(免费,但不提供官方维护升级)和商业版本之间差距比较大。
目前结构
从结构和实际应用看,XXXXX存在问题:
1、对比数据量较大;
2、只有两台服务器只能做到内存扩展无法做到failover;
3、内存数据达到一定比例,再写入数据效率降低;
4、假如再添加节点就要求节点的内存必须接近当前两台节点的内存配置,否则就发挥不了现有节点的性能。
数据库对比
Hbase是一个运行在Hadoop上的分布式和可扩展的大数据仓库,其优点如下:
1、需要的是硬盘空间,能够利用HDFS的分布式处理模式,并从Hadoop的MapReduce程序模型中获益。这意味着Hbase存储容量大,一个表可以容纳上亿行,上百万列;
2、可通过版本进行检索,能搜到所需的历史版本数据;
3、负载高时,可通过简单的添加机器来实现水平切分扩展,跟Hadoop的无缝集成保障了其数据可靠性(HDFS)和海量数据分析的高性能(MapReduce);
4、?也可有效避免单点故障的发生。
Hbase与目前所用数据库Couchbase在某些方面的对比情况,如下面列表所示:
项目
HBASE
COUCHBASE
分片信息
每个server,选主
数据格式
二进制
json
固化方式
一般架设在hdfs上,可以认为是一个分布式内存索引系统
Couchstore/ForestDB
负载均衡
自动均衡,迁移
主备方式
分布式内存索引,无主备
索引支持
仅按key排序
主/二级
过滤器
服务器端
服务器端编程
协处理器。启动时放到服务器端,配置(不能动态上传)
批量写入
支持
直接从hdfs加载文件
不支持
读写内存
可以根据情况调整
定义后不可改
通过以上hbase和couchbase数据库的对比列表可知,在某些方面使用hbase要好于couchbase。
集群中进程名称及作用:
NameNode【支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作】 DFSZKFailoverController【Hadoop Ha进程维持namenode高可用】 JournalNode【保证hadoop Ha的高可用(一般启动2n+1个)】 JobHistoryServer【可以 该服务查看已经运行完了的作业记录】
ResourceManager【管理集群资源分配,接收NodeManager的资源汇报】 DataNode【调度存储和检索数据】 NodeManager【负责在单个节点上执行MapReduce任务】
QuorumPeerMain【zookeeper独立的进程,ZooKeeper作用包括管理Hadoop集群中的NameNode,HBase中HBaseMaster的选举,Servers之间状态同步等】
HMaster【管理和分配HRegion、HRegionServer负载均衡、权限控制、实现DDL操作】 HRegionServer【维护HMast
您可能关注的文档
- 扣眼穿刺介绍要点及规范.PPT
- 执业医师资格技能考试—X线培训.PPT
- 执行程序(概述与总则).PPTX
- 扣件式脚手架搭设要求.pptx
- 扫描仪操作培训.ppt
- 批注性阅读指导课件.PPT
- 找次品-数学广角.PPT
- 承包商安全环保培训课件.PPTX
- 技术创新管理与技术创新战略课件.PPTX
- 承担关爱集体的责任.PPT
- 2023学年诸暨中学高三年级第二学期3月第二次模拟考试(政治)公开课教案教学设计课件资料.docx
- 运动的合成与分解(二)公开课教案教学设计课件资料.pptx
- 近五年浙江省各地图形的翻折(轴对称)原题公开课教案教学设计课件资料.doc
- 如何做教师-2019-11-13-中关村一小相关公开课教案教学设计课件资料.pptx
- 生活中的圆周运动 (水平面)正式版公开课教案教学设计课件资料.pptx
- 专题10 条件概率与全概率公式公开课教案教学设计课件资料.docx
- 金华市东阳市2019学年第二学期期末测试卷公开课教案教学设计课件资料.doc
- 5 琥珀(第二课时)【慕课堂版】公开课教案教学设计课件资料.pptx
- 项目五 打印米老鼠模型公开课教案教学设计课件资料.ppt
- (打印版)9月25日地理周练公开课教案教学设计课件资料.docx
文档评论(0)