云数据库方案设计.docVIP

云数据库方案设计 一、云数据库的云化改造 面向云化环境，数据库在多个方面需要进行改造，包含快捷的安 装部署，供给数据库的动向伸缩和资源隔绝，以及监控、迁徙、备份 等一体化管理，以适应云环境中自动安装部署、一体化监控管理，资 源动向分派等需求。 迅速安装及部署 一键部署和分钟级实例的创立: 准备好预置数据库的docker镜像 初始化好空数据目录（也支持依据场景预置数据） 数据库配置文件搁置在docker镜像以外，经过映照的方式进入镜像内部 用户选择实例资源后（CPU、内存），系统自动计算最正确设 置 用户选择实例的内存、CPU数目，使用处景（OLTP、OLAP） 依据用户选择，自动调整、优化参数（共享缓存、 work_mem、等等） 3.使用docker镜像加载外置配置文件启动数据 多种部署方式 单机（独自的docker镜像） 主备和负载平衡 a).配置好的三个独立docker镜像，分别饰演主机、备机、 读写分别节点 b).三个节点配置文件都在外面，映照到内部运转 c).启动时，依据用户的资源选择和网络场景，自动规划配 置文件内容 3.KADB集群 a).依据角色配置好独立的docker镜像，分别饰演数据节 点、协调器节点等 b).节点的配置文件都放在外面，映照到内部运转 c).依据用户设置的资源，场景，自动分派节点数目，配置 节点参数. 在线伸缩 云环境中，支持在线调整任何一个实例使用的资源。关于数据库 而言，若分派的资源，包含CPU、内存、磁盘等资源发生变化，数据 库相同需要关于资源的变化实行奏效。 CPU变化时，主要影响数据库的并发连结数和并行参数，在金仓 云数据库中，并发连结数和并行参数能够动向调整。 内存发生变化时，数据库的共享内存，排序内存等内存分派支持 动向调整，动向扩展。 磁盘发生变化时，数据库能够配置表空间的储存，以及表储存， 分区的储存，动向使用新增资源。 此外，跟实在质业务的增添，数据库集群的负载可能高出初始设 计的承受能力，使得办理能力降落，不再知足业务需求，所以数据库 集群支持在线扩展能力，即在不影响系统正常使用的状况下，增添数 据库的数据办理能力。 资源隔绝 KingbaseES云数据库支持多租户模式，以实现多个租户之间的资 源隔绝。 每个租户创立自己的数据库，各自的数据库从元信息、用户数据 到内存、以及日记信息，都是相互隔绝的。每个租户的数据库不能够 相互接见。 各个租户的数据库能够方便的迁徙和加载，支持各自的备份和恢 复。 一体化管理 使用KEM监控数据库运转状态 a).支持自主监控（由KEM主动体现） b).支持将采集的数据聚集到其余管理平台 使用WEB对象管理工具管理数据库对象 a).单机形式的数据库对象管理 b).主备形式的数据库对象管理 c).KADB集群数据库对象管理 二、向非关系型储存、大数据办理进行扩展 通用数据库 通用数据库依据办理业务的种类，分为交易型数据库和剖析型数 据库。 交易数据库 主要用于交易种类的业务办理，比如：业务流程电子化，其余业 务系统。面向全部参加业务流程的人员。对数据的操作特色是：大批 短、频、快的增修改操作。 剖析型数据库 主要用于统计剖析，数据发掘应用。面向决议者和剖析人员。对 数据库的操作特色是：大批数据入库，大批复杂查问。 云上的数据库需要有这两种数据库，来应付更多的用户应用需 求。 与大数据平台的互访 大数据计算平台，比如Spark、HIVE等，需要支持大数据计算平 台与数据库互访。以大数据计算平台为中心，成立剖析平台。 大数据计算平台接见数据库 大数据计算平台Spark： 能够供给JdbcRDD来接见单机数据库系统，而且依据某列对表进 行分区，并行读取，提高效率。关于集群数据库，Spark工作进度可 以对每一个储存节点进行数据读取，经过这类并行的方式提高效率。 大数据计算平台HIVE： 需要在HIVE中注册数据库表信息，将数据库的表映照成HIVE表，经过Hive-SQL进行数据读取，并在HIVE中进行运算。 数据库接见大数据计算平台 大数据计算平台能够将数据，比如计算结果，写入到数据库中，再在数据库中，利用SQL对数据进行剖析。 云数据集成 与RDS的数据集成 数据库使用外面表技术，能够接见RDS中的其余数据。 支持多种格式的数据； 支持接见和更新数据。 同时，使用迁徙工具实现到RDS的数据集成。 .与大数据储存平台的数据集成 数据库供给外面表技术，能够将交易型和剖析型数据库与其余储存平台对接，在数据库内部，经过外面表接见大数据储存平台中的数 据，包含： 与HDFS对接：外面表接见引擎（读写模块），经过调用HDFS 的接见接口（InputFormat，OutputFormat），对Textfile，Avrofile，ParquetFile的文件进