- 1、本文档共18页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Ceph存储在视频应用上的性能优化.pdf
Ceph在视频视频应用上的性能优化
何营heyingbj@
1. 个人工作介绍
2. 视频应用主要要求 目
3. 直接纠删码 录
4. 延迟
5. 带宽
何营
从2014年底开始加入到Ceph的研发工作;
之前的7年都在视频点播,直播,视频CDN方面做
研发;
在Ceph中主要在Rados层做工作;
最近在NVRAM Cache、高密度服务器方面做工作;
1. 个人工作介绍
2. 视频应用主要要求 目
3. 直接纠删码 录
4. 延迟
5. 带宽
视频应用的主要要求
容量及成本
视频应用主要使用大容量HDD盘作为后端存储;
服务器尽量不使用SSD ,或者尽量少的使用SSD ;
性能指标要求
极限读写性能单节点要求在900MB/S以上;带宽
恒定读写要求单路15MB/S读写速度情况下,平均帧速率不低于24.99 ;尽量高的提高写入
及读取带宽;延迟
后端冗余策略
尽量高的提升存储的实际使用空间;副本不满足要求;
完全HDD集群对间接纠删码支持不够,有各种问题;
1. 个人工作介绍
2. 视频应用主要要求 目
3. 直接纠删码 录
4. 延迟
5. 带宽
直接纠删码
•直接纠删码实现的原理
不支持的操作先将数据读到内存中,再将操作应用到内存的数据中,最后再覆盖写入。具体实现将修改操作
根据是否需要读取源数据进行分类,分别进入write 队列或者writeread 队列。
•入队列原则
•两个队列不能同时有操作;
•删除操作、覆盖写操作直接进入write列表;
•如果有队列不为空,则直接进入该队列。
• 直接纠删码支持的操作
•write
•zero
•append
•truncate
直接纠删码
修改操作如write、
truncate等
从任务队列获取到
任务
判断是否是修
否 执行非修改流程
改操作
是
判断 把任务push_back入
map_list_ecwrit map_list_ecwrite_r
是
e_read 中是否包 ead 中的同一oid的
含本
文档评论(0)