Cassandra 系统配置和client端程序调优.docVIP

Cassandra 系统配置和client端程序调优 【射日前言】：鉴于有时候搜索一些技术文档，看到一些好文章，如果不保留的话，过后可能不得不重新搜索，也有可能过后链接失效。在这种情况下，在本人博客中建立新的类别，《技术转载》，专门用来转载这些文章的，不敢贪功，所有转载的文章本人一定注明转载以及原文作者和原始链接 ===分割线=== 原文链接：原文作者：昆仑@搜索技术博客---淘宝 最近，研究了好几个Nosql的系统：tair、cassandra、hbase等。这些系统各有千秋，其中对cassandra的研究相对深入，因此在这里记录下系统搭建和系统性能测试的过程，分享给大家。 Cassandra系统配置 本文采用的cassandra版本为0.6.6 1.cassandra系统基本架构 cassandra是一个类似于google bigtable的存储系统,实现了SSTable,MEMTable等数据结构,支持持久化数据,高性能随机读写.其节点间通讯基于gossip协议,作为一个P2P系统,各个节点是对等的,不存在类似Hbase中master节点这样的角色.也由于其P2P的特性,cassandra集群的扩展是非常的容易的,只需要往集群中添加节点并做简单的配置即可. cassandra系统数据的partition据采用的是一致性哈希算法,系统中各个节点的key可以通过调用nodetool工具来查看,下面显示了一个20个节点组成的cassandra集群的ring结构： 2223-bash-3.2$./nodetool-h dump .cm5 ringAddress Status Load Range Ring xxx.xx.xx.x Up?67212|--|xxx.xx.xx.x Up?10572|^xxx.xx.xx.x Up?34424 v|xxx.xx.xx.x Up?31718|^xxx.xx.xx.x Up?68848 v|xxx.xx.xx.x Up?02454|^xxx.xx.xx.x Up?36060 v|xxx.xx.xx.x Up?52863|^xxx.xx.xx.x Up?69666 v|xxx.xx.xx.x Up?03272|^xxx.xx.xx.x Up? v|xxx.xx.xx.x Up?|^xxx.xx.xx.x Up? v|xxx.xx.xx.x Up?|^xxx.xx.xx.x Up? v|xxx.xx.xx.x Up?|^xxx.xx.xx.x Up? v|xxx.xx.xx.x Up?|^xxx.xx.xx.x Up? v|xxx.xx.xx.x Up?|--| 其中各个节点的key值可以事先指定,也可以由系统自动生成. cassandra DataModel介绍请参考这篇文章：WTF is aSuperColumn 2.简单系统配置和运维 从零开始的系统配置请参考Cassandra Getting Started,这里我简单介绍下本文中系统的配置.Cassandra的配置文件主要在文件conf/storage-conf.xml中,该文件中包含了启动cassandra集群所需要的几乎所有重要配置,并且对每个配置都有详细的注释.下面是本文中系统的storage-conf.xml的片段,仅包含了一些比较重要的配置项. ！---~用于向一个已经存在的集群添加新节点,新节点设置为true.~我们由于是一个完整集群,全部是设置为false--AutoBootstrap false/AutoBootstrap！---~KeysCached标识该表的key放入内存的比例,此处由于主要测试读性能.因此设置为100%~RowCached标识该表的row放入内存的情况,由于无法确认数据量,此处设置在内存中cache 条记录.~CompareWith标识该表中数据的排序规则,有下述选项：~BytesType：Simple sort by byte value.No validation is performed.~AsciiType：Like BytesType,but validates that the input can be parsed as US-ASCII.~UTF8Type：A string encoded as UTF8~LongType：A 64bit long~LexicalUUIDType：A 128bit UUID,compared lexically(by byte value)~TimeUUIDType：a 128bit version 1UUID,compared by timestamp--Keyspaces Keyspace Name=DumpcenterColumnFamil