读写机制调研.pptxVIP

Cassandra读写机制调研;在数据的读取过程中，Cassandra会根据需要读取的ColumnFamily查询该ColumnFamily下的Memtable以及所有的SSTable，合并查询的结果，将最新的结果返回给客户端。 读取操作根据一致性级别分为两类： 强读取 弱读取 ;对于每一个读取命令，Cassandra的执行流程如下： 从集群中找出一台最适合读取的服务器。 从最适合读取的服务器读取数据 如果最适合读取的服务器是本机，对本机的数据进行异步读取 如果最适合读取的服务器不是本机，向该服务器请求需要读取的数据，并根据一定概率计算是否进行读修复操作（这里读修复操作异步执行，不会等待读修复操作完毕后再将结果返回客户端） 等待结果返回 将返回的结果返回给客户端;对于每一个读取命令，Cassandra的执行流程如下： 从集群中找出一台最适合读取的服务器。 向该服务器请求需要读取的数据。 根据读取一致性级别，从集群中找出其他需要读取的服务器。 向其他需要读取的服务器请求需要读取数据的摘要信息，用于对比多台机器之间数据是否一致。 等待符合读取一致性要求结果的返回。 从不同服务器返回的结果，对比数据是否一致，对于不一致的数据，进行QUORUM级别的读修复操作。 将最终结果返回给客户端。;Table ColumnFamilyStore 对象的集合，可以通过 column family 的名字查找到对应的 CFS ColumnFamilyStore DataTracker 关于该ColumnFamily的信息 一个 Memtable 对象。该对象保存了最近的对该 CFS 中的 Column family 的修改，这些修改还没有被 flush 到磁盘上。 一个 SSTableTracker 对象。这是一个 SStableReader 对象的集合，每个 SSTableReader 对象维护了关于磁盘上的 CF 数据的必要信息。;Commitlog 先写日志再写数据 数据写入Memtable前需要由CommitLogExecutorService线程先写Commitlog CommitlogHeader记录了CF的脏标志位和该CF的恢复起始偏移位置。 CommitlogSegment记录了变更的RowMutation信息。 Memtable ConcurrentNavigableMap DecoratedKey, ColumnFamily ，这个哈希表用于从 row-key 查找对应的 ColumnFamily 对象。;CassandraServer public ListColumnOrSuperColumn get_slice (ByteBuffer key, ColumnParent column_parent, SlicePredicate predicate, ConsistencyLevel consistency_level) Exception： InvalidRequestException UnavailableException TimedOutException;判断是否对指定ColumnFamily具有读权限，如果没有该权限，则抛出InvalidRequestException异常 private MapByteBuffer, ListColumnOrSuperColumn multigetSliceInternal 取得ColumnFamily的元数据 判断predicate里存储的是column name集合还是范围，构造不同Command集合，每个Key具有一个Command对象 private MapByteBuffer, ListColumnOrSuperColumn getSlice(commands,consistency_level) ;根据一致性级别和构造出的读取命令从指定ColumnFamily中读取数据 readColumnFamily(未来可支持每行多个ColumnFamily,目前仅支持一行） 如果一致性级别为ANY，抛出InvalidRequestException异常 通过调度，执行StorageProxy.read(commands, consistency_level)取出行数据，可能抛出TimeoutException和IOException两种异常。 如果处于BootstrapMode(集群joining状态)，则抛出UnavailableException 调用StorageProxy的fetchRow取出行数据 根据读操作命令从返回结果中取出指定column数据;执行本地和远程读取操作，阻塞等待结果返回 针对每个Command，执行