【2017年整理】GBASE培训总结.docxVIP

问题10PB/节点有效数据？支持infiniband网络？PB级支持能力？pdf2ppt?备份库不能选库必须为全量？集群内跨库操作映射不支持？按秒存储时间？背景：三大应用OLTP-OLAP-NOSQLOne size fits all to much size fit all集群架构特征：应用程序(接口层SQL-任一节点访问)数据库节点(集群)(负载平衡)数据分发节点（ETL）外部数据来源集群结构：节点192个规格（64组*3节点），内部高速互联分布式任务下发与回应集群管理工具-集群节点N节点GCCLUSTER数据管理层分解SQL任务管理，不进行计算节点NODE数据存储计算实例，直接加载数据，不需经过GCCLSTER节点GCWARE节点管理,节点为单位，非数据位单位SAFE GROUP：多个节点组成，数据互为备份，根据数据量高可用要求进行配置节点数，组数，扩展时以safe group为单位进行，不是以节点为单位扩展，多副本（目前最多2副本，3节点1个组）上部是应用接口层下部是基础层（UNIX系统）再下是数据分发节点及外部数据来源核心技术：列存储，数量大越大效率越高高效压缩 1:20，提升I/O性能,以列为单位选择灵活压缩，表级压缩，配置文件配置全局压缩，优先级列-表-全局三层压缩;列压缩方式选择（0,0）（1,3）(5,5)，新建表才能改数据列压缩模式，旧的存储不能更改。智能索引：以数据包为单位建立索引，可扩展，占领空间小双向并行：单表 300GB/小时，多表300GB/小时，集群（20节点以上）2TB/小时全文检索：增加工具doc2txt,建立全文检索等模块，并行完成理论极值：列存 1TB-100GB自适应压缩 100GB-10GB智能索引 10GB-1GB并行逐步提升处理效率架构演进：单机数据库计算集中，存储集中共享数据库计算分布存储集中MPP+Shared nothing 计算分布存储分布场景应用：分析类应用查询统计数据挖掘全文检索优势体现：优秀与适合比较PCSERVER+LINUX+SATA vs 小型机+UNIX+阵列硬件成本几万元目标：2014结构化+半结构+非结构（30PB,500节点）对接HADOOP可以处理非机构化数据如语音，视频等数据流继续优化2013实现的功能包括阵列混存等安装与卸载集群规划a.数据模型规划数据部署方式：复制表（节点内，小表，或与其他表join较多的as复制表）分布表（组内节点间，大表as分布表）分布表：随机分布表轮询，易有瓶颈；HASH分布表，以某一列做HASH计算，算出每个行（现在已经是块，65536行就是一个块，不是行）的HASH值进行节点分布，若HASH值分布密集也可能存在瓶颈b.空间规划2节点or 3节点做安全组单节点：数据存储空间（复制表，分布表，分布表复件，索引），运算存储空间硬件高可用多网卡绑定：适配器容错，主备方式；负载均衡系统占用1TB空间，ext4格式化，OPT目录存储业务数据及元数据gcnode，索引与元数据Gccluster目录大小：节点/ 50GB, /opt TB级别客户端安装企业管理器JDBC节点或者Gccli用户文件复制客户端 cat ~/日常维护命令行方式Gcadmin查看正常的集群工作状态 active（前集群中Olline的节点个数大于1/2时），locked（当前集群中Online的节点个数小于等于1/2 时），模式noarmalreadonly recover节点工作状态 online offiline各模组进程的工作状态open close，datastate节点数据一致性[0] [1] nodestate节点一致性offline检查（节点硬件，gcware启动，）模组进程close排除（7进程，ps–ef|grep进程名，service进程名 status，单独启动、停止进程）数据恢复datastate状态为1的故障排除（自动修复，节点内尽快恢复，集群层面加锁恢复后解锁，几秒周期比对，检查错误日志发现即触发，先DDL对表架构无操作后DML对表有增删改有操作）手工节点故障排除（短时间无法修复需设置节点状态failure gcadminsetnodestatenodeip 192.168.1.2 failure）此时所有表锁住，然后自动恢复数据normal后再解锁。Gcadmin–helpGcadminshowlock（Orphan 孤儿锁孤节点）nmon检查内存使用率df–h 检查磁盘空间批处理SQL文件（-f强制执行出错场景）用户密码加引号’’,否则是加密的非明文密码，比如’123456’授权grant all on test 收回revoke查看本节点线程show[full] processlist查看集群压缩Desc test.t 查看列