读写机制调研上课讲义.pptxVIP

Cassandra读写机制调研;在数据的读取过程中，Cassandra会根据需要读取的ColumnFamily查询该ColumnFamily下的Memtable以及所有的SSTable，合并查询的结果，将最新的结果返回给客户端。 读取操作根据一致性级别分为两类： 强读取 弱读取 ;对于每一个读取命令，Cassandra的执行流程如下： 从集群中找出一台最适合读取的服务器。 从最适合读取的服务器读取数据 如果最适合读取的服务器是本机，对本机的数据进行异步读取 如果最适合读取的服务器不是本机，向该服务器请求需要读取的数据，并根据一定概率计算是否进行读修复操作（这里读修复操作异步执行，不会等待读修复操作完毕后再将结果返回客户端） 等待结果返回 将返回的结果返回给客户端;对于每一个读取命令，Cassandra的执行流程如下： 从集群中找出一台最适合读取的服务器。 向该服务器请求需要读取的数据。 根据读取一致性级别，从集群中找出其他需要读取的服务器。 向其他需要读取的服务器请求需要读取数据的摘要信息，用于对比多台机器之间数据是否一致。 等待符合读取一致性要求结果的返回。 从不同服务器返回的结果，对比数据是否一致，对于不一致的数据，进行QUORUM级别的读修复操作。 将最终结果返回给客户端。;Commitlog 先写日志再写数据 数据写入Memtable前需要由CommitLogExecutorService线程先写Commitlog CommitlogHeader记录了CF的脏标志位和该CF的恢复起始偏移位置。 CommitlogSegment记录了变更的RowMutation信息。 Memtable ConcurrentNavigableMap DecoratedKey, ColumnFamily ，这个哈希表用于从 row-key 查找对应的 ColumnFamily 对象。;CassandraServer public ListColumnOrSuperColumn get_slice (ByteBuffer key, ColumnParent column_parent, SlicePredicate predicate, ConsistencyLevel consistency_level) Exception： InvalidRequestException UnavailableException TimedOutException;判断是否对指定ColumnFamily具有读权限，如果没有该权限，则抛出InvalidRequestException异常 private MapByteBuffer, ListColumnOrSuperColumn multigetSliceInternal 取得ColumnFamily的元数据 判断predicate里存储的是column name集合还是范围，构造不同Command集合，每个Key具有一个Command对象 private MapByteBuffer, ListColumnOrSuperColumn getSlice(commands,consistency_level) ;根据一致性级别和构造出的读取命令从指定ColumnFamily中读取数据 readColumnFamily(未来可支持每行多个ColumnFamily,目前仅支持一行） 如果一致性级别为ANY，抛出InvalidRequestException异常 通过调度，执行StorageProxy.read(commands, consistency_level)取出行数据，可能抛出TimeoutException和IOException两种异常。 如果处于BootstrapMode(集群joining状态)，则抛出UnavailableException 调用StorageProxy的fetchRow取出行数据 根据读操作命令从返回结果中取出指定column数据;执行本地和远程读取操作，阻塞等待结果返回 针对每个Command，执行如下读取操作： 取出负责指定key的目前活着的节点 将其按与本地节点之间距离排序 判断目前活着的节点是否符合一致性要求 向最近的节点发送读取数据请求。（如果之前回复的节点只有一个，则继续下一个读命令的执行） 向其他节点发送读取摘要请求，都是异步执行 ;一致性级别为LOCAL_QUORUM或EACH_QUORUM，发送DatacenterReadCallback型的,不执行读修复操作 否则发送ReadCallback型的 随机计算是否需要进行读修复操作，若执行则向所有备份发送摘要请求，否则向比满足一致性需求的备份数少一的备份发送读取摘要请求