原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
构建
AI
存储的“六边形”战士
JuiceFS的实战与演进
苏锐，Juicedata合伙人
很可惜，现实中我们无法得到完美的“六边形战士”。
很可惜，现实中我们无法得到完美的“六边形战士”。
但是，软件定义存储让我们又能造一把“瑞士军刀”，通过架构和配
置来适应更多的需求。
分享内容
•回顾存储系统的发展中的“变”与“不变”
•AI提出的数据挑战
•如何设计、演进系统架构
三种存储类型
块存储对象存储文件存储
BlockStorageObjectStorageFileStorage
产品举例SSD裸盘，云盘OSS，MinIOEMCisilon,CephFS,云NAS
多机访问
POSIX兼容Yes
容量有上限弹性部分产品弹性
时延低高中
吞吐与数据量相关与数据量或磁盘数相关
固定
四种访问方式
•顺序读：从头到尾播放一个视频
•顺序写：记录持续生成的日志
•随机读：播放视频时，不停的拖滚动条
•随机写：修改数据库里的一个数值
两种I/O模式
•同步I/O：阻塞I/O、I/O多路复用。
•异步I/O：libaio，io_uring，举例：FFRecord提供的SDK使用libaio读
取数据，可以通过提高并发获得更高的IOPS与吞吐。
文件存储架构变迁
NAS第一代分布式文件存储云原生分布式存储
年代1990年代2005年2017年
产品举例EMC/NetAppCeph、HDFS、Lustre
特点●单点故障●运维成本高●弹性伸缩
●控制器瓶颈●容量规划和扩容复杂●弹性性能扩展
●共享受限●TCO高●全托管服务
●横向扩展困难●TCO低
是否适用于➔软硬件一体方案，➔性能与容量绑定，➔利用云上基础设施，
AI训练？➔集群扩展能力有限。➔虽然能扩展，➔性能与容量解耦，
➔运维复杂度高。➔适合大规模的数据密集型
负载。
AI提出的数据挑战
AI业务有什么？
●推荐：搜索，广告，推荐系统；
●识别：文字、人脸、语音识别，自动驾驶；
●生成：LLM，图像，视频，声音。
文档评论（0）