Alluxio助力Kubernetes加速云端深度学习.pdf

下载文档 降价啦

67
0
约8.96千字
约 20页
2021-01-07 发布于浙江
举报
版权申诉
保障服务

Alluxio助力Kubernetes加速云端深度学习.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

Alluxio助力Kubernetes加速云端深度学习技术创新，变革未来 • 我们是谁 • 问题背景 • Alluxio 助力云原生AI 模型训练 • Alluxio 是谁 • Allluxio 与Kubernetes 结合 • Alluxio 优化实践 • 相关资料人工智能发展的驱动力硬件软件数据容器化的基础架构 RestNet50 模型训练速度（images/second） V100 (32GPU) 33884.8 V100 (8GPU) 9993.6 P100 (32GPU) 7323.84 P100 (1GPU) 311.6 0 5000 10000 15000 20000 25000 30000 35000 40000 分布式训练/GPU硬件升级加速明显 V100 (32GPU) 1 V100 (8GPU) 3.39 P100 (32GPU) 4.62 P100 (8GPU) 15.12 P100 (1GPU) 108 0 20 40 60 80 100 120 1.强大的算力需要匹配的I/O吞吐 2.计算存储分离导致I/O延迟 3.单机缓存无法满足海量数据加速 RestNet50 模型训练速度（images/ seco d ） n 云盘 31 ESSD云盘 PL2 89.6 Synthetic 9993.6 0 2000 4000 6000 8000 10000 12000 面向大数据和AI应用的内存级数据编排系统开源项目由李浩源博士(Alluxio公司CEO)在加州大学Berkeley分校 2013 AMPLab 就读期间创立由硅谷著名投资公司Andreessen Horowitz投资，公司在2015年在旧金山湾区成立，致力于推动开源项目和社区以及商业化 2015 Java FileAPI HDFS Interface S3 Interface POSIX Interface REST API 数据编排层(DataOrchestration) HDFS Driver S3 Driver OSS Driver Web Driver Alibaba Cloud