二零二三年 优质公开课HBase审计日志.pptx

HBase审计日志 HBase常用概念0102HBase审计配置Content目录 01HBase常用概念 HBase常用概念1、 Row Key 行键　 与nosql数据库一样，row key是用来表示唯一一行记录的主键，HBase的数据时按照RowKey的字典顺序进行全局排序的，所有的查询都只能依赖于这一个排序维度。访问HBASE table中的行，只有三种方式： 通过单个row key访问通过row key的range（正则）全表扫描 HBase常用概念2、 Columns? Family 列族HBASE表中的每个列，都归属于某个列族。列族是表的schema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses：history，courses：math 都属于courses这个列族。列簇3、Cell由{row key，columnFamily，version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存储。 HBase常用概念4、 Time Stamp 时间戳HBASE中通过rowkey和columns确定的为一个存储单元称为cell。每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是64位整型。时间戳可以由HBASE(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显示赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的管理(包括存储和索引)负担，HBASE提供了两种数据版本回收方式。一是保存数据的最后n个版本，而是保存最近一段时间内的版本(比如最近7天)。用户可以针对每个列族进行设置。 02HBase审计配置 HBase审计配置1）打开hbase security在所有节点hbase-site.xml中加入以下内容重启，其中指定rpc engine为SecurepcEngine，因为该引擎能传递remote client传递的用户凭证（如用户名） HBase审计配置2）配置log4j.properties，打开Security audit appender，缺省有 1、介绍了HBase常用概念2、介绍了HBase审计配置方法