原创力文档- 1、本文档共51页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
篱笆网社区数据访问层架构
;;篱笆网数据访问层;模型;LAMP架构不堪重负;;function get_reply_table($topic_id) {
$tn = 500 * 200;
$y = $topic_id % $tn;
if ($y == 0) {
$y = $tn;
}
$x = $y % 200;
if ($x == 0) {
$db = $y / 200;
$table = 200;
} else {
$db = ceil($y / 200);
$table = $x;
}
return reply . $db . .reply . $table;
};如此分片的不足;发帖过程;Web;语言：PHP? JAVA?;RESTful Web Service;用户注册示例代码;Session;Save Session;Read Session;目前的性能;5亿reply怎么办？;5亿reply怎么办？;HBase;5亿reply怎么办？;Cassandra介绍;Cassandra集群写;Cassandra集群读;Cassandra单节点读写;Reply Column Family;;Read Reply;topic_reply Column Family;查询某一页reply;SELECT * FROM topic_reply WHERE columnName 0 ORDER BY columnName ASC LIMIT pageNo * pageSize
如果能不从0查起，从X查起
SELECT * FROM topic_reply WHERE columnName X ORDER BY columnName ASC LIMIT (pageNo * pageSize - X);{
headMap:{
1:455695425,
2:459162213,
3:464849995,
4:468743553,
5:472194530,
6:476167372
},
sliceSize:4800
};topic_reply_isi;分页到全局下标;全局下标到分片;从Redis取reply list;查询某一页reply;查找某Topic下reply的性能;查询板块下的某些topic;查询板块下的某些topic;Redis缓存; 数据访问层
1台Nginx + 3台Tomcat;Cassandra缓慢内存泄漏;10334个SSTableReader对象
占用了97.17%的内存！;鬃心葵苑拈炯咳猖春炸韵蛹贼噎倔点屑疥斜沛爸叔马珍学难年切鸵滦撮榆QConShanghai2013-王一和苏龙-篱笆网社区数据访问层架构QConShanghai2013-王一和苏龙-篱笆网社区数据访问层架构;SSTableReader缓存了文件的内容到内存，当SSTable太多，缓存太多时导致内存不足
我们当时采用了最简单的解决方案，增大SSTable ，从10M变成128M,减少SSTableReader的数量
新版Cassandra，添加了SSTableReader缓存使用上限解决了这个问题
;目前运行状态;目前运行状态;目前运行状态;QA; 特别感谢
QCon上海合作伙伴
文档评论（0）