hbase实战研讨.pptxVIP

Hbase操作实战 Hbase 特点 支撑高并发的读写访问。 数据基于hdfs存放，副本机制可以保证数据可靠 分布式regionserver-region模型，在横向扩展的基础上可以支撑很大的业务表的操作 读写相应速度快 分布式设计策略允许硬件故障 Hbase 关系数据库区别 hbase数据操作只有很简单插入，查询，删除，修改，清空等操作，不能实现表与表关联操作。 hbase基于列式存储，每个列族都有几个文件保存，不同列族的文件是分离的。而关系型数据库基于表格设计和行模式保存。 hbase修改和删除数据是实现上插入带有特殊标记的新记录，而关系型数据库是数据内容的替换和修改读写相应速度快 Hbase分布式，关系型数据库只能用其他方式实现 Hbase支持并发量比关系型数据库大的多，相应时间也比较快 Hbase 使用场景 数据量特别大的表。 读写量比较高。 数据要求比较高 Hbase 方式区别-api Api是hbase最常用的使用方式，通过java api操作hbase 提供线上业务数据查询数据写入等操作，是当前业务系统最常用的访问方式 Hbase 方式区别-hbase shell Hbase shell提供了常用的 管理员命令 ，来满足用户手动创建表删除表，浏览数据 测试写入数据等操作，一般用作集群管理 Hbase 方式区别-MapReducer支持 通过map reducer对hbase的数据写入和导出 1.Api写入导出 2.生成hfile文件加载进去（好处：不用把负载加到regionserver）速度比较快，单纯的mr写入 TableInputFormat对hbase 全表或者部分数据的导出（速度秒杀get ） Hbase 方式区别-phoenix Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集---后边会单独介绍phoenix Sql方式访问 使用方便 Phoenix scan做了很多分桶多路scan的优化 性能比原生的scan块很多 使用了索引支持sum count group等操作 Hbase Shell介绍 hbase提供了一个shell的终端给用户交互。通过执行 help get 可以看到命令的帮助信息。 使用方式/bin/hbase shell 配置好path之后可以直接使用 hbase shell 命令来使用hbase shell 交互 Hbase Shell常用操作 Table操作 create ，disable，enable ，drop，list ，describe,exists等 数据操作put,get ，scan，delete?等 其他命令：count（获取表行数），balancer命令 负载均衡，split region分离等 注意：不要使用shell scan会对集群造成压力，浏览数据可以加上{ LIMIT = 10} Hbase Api -htable 代码： HTable htable = new HTable(new Configuration(), test_t1); 线程不安全 创建连接需要花费很多时间 实现原理与技术瓶颈解决 自定义代理实现hbase连接池高性能高并发hbase访问 超时参数对于线上业务的优化 hbase.rpc.timeout：rpc的超时时间，默认60s，不建议修改，避免影响正常的业务 ipc.socket.timeout：socket建立链接的超时时间，应该小于或者等于rpc的超时时间，默认为20s 3. hbase.client.retries.number：重试次数，默认为14，可配置为3 4. hbase.client.pause：重试的休眠时间，默认为1s，可减少优化，比如100ms5.使用异步处理（查询异步提高查询速度，task get自动超时策略） Hbase Api –Get 代码： HTable htable = new HTable(new Configuration(), test_t1); Get get = new Get(aaa.getBytes()); Result res = htable.get(get); 线上最靠谱的查询方式 Blockcache设置优化get查询 分布式（rowkey分布-hash，逆序）对查询的影响 多线程get的用法 获取列对数据查询速度的影响 Hbase Api –Scan 代码： Scan scan = new Scan(Bytes.toBytes(startTime), Bytes.toBytes(endTime)); scan.addFamily(Bytes.toBytes(v)); ResultScanner scanner