刘鑫-Rust WebAssembly构筑大模型生态的基础设施.pdfVIP

下载本文档

0
0
约3.06千字
约 17页
2023-09-20 发布于广东
举报
版权申诉

刘鑫-Rust WebAssembly构筑大模型生态的基础设施.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

Rust + WebAssembly : 构筑大模型生态的基础设施刘鑫 (sam@secondstate.io) Second State 工程师 WasmEdge Maintainer 1 分享事项 • Python + Docker 组合存在的问题 • Rust + WebAssembly组合的优势 • 实践项目分享 2 现状： Python + Docker 组合 - 1 • Python • 易：易学、易用 • 大：社区活跃、生态繁荣、资源丰富 • 广：适用于各种类型的AI任务，深入每一个环节 • Docker Container • 可移植性：利于分发 • 隔离性：保证了安全性和稳定性 • 可扩展性：资源利用率高 3 现状： Python + Docker 组合 - 2 • 痛点1 ：Python 在性能、并行性、内存管理等处于劣势 4 现状： Python + Docker 组合 - 3 • 痛点2 ：Python + C/C++/Rust 混合编程维护成本高、移植能力差上述代码片段源自 /Xilinx/Vitis-AI/blob/master/src/vai_runtime/xir/src/python/wrapper/wrapper.cpp 5 现状： Python + Docker 组合 - 4 LangChain图片引用自 /docx/XDYbdhq7ro0KPexuXUkcB6mynmh#VygBdZS9poOgNfxKoFrcm6Bensh 6 现状： Python + Docker 组合 - 5 • 痛点3 ：Docker Container 的局限性 • 冷启动性能：秒级 • 磁盘空间：GiB级 • 硬件加速器的支持：需要特定版本 • 可移植性：依赖于CPU架构 • 安全性：依赖于宿主OS的用户权限部分文字引用自/wasm_linux_container) 图片源自/@shivraj.jadhav82/webassembly-wasm-docker-vs-wasm-275e317324a1 7 AGI最佳：Rust + WebAssembly - 1 • Rust – AGI 时代的最佳选择 • 性能与内存安全兼备 • 无惧并发 • 强大而富有表现力的类型系统 • 现代化的包管理工具Cargo • 快速成长的生态系统：ndarray, llm, candle, burn, … 8 AGI最佳：Rust + WebAssembly - 2 • WebAssembly – 更快、更轻、更安全图片源自 /@shivraj.jadhav82/webassembly-wasm-docker-vs-wasm-275e317324a1 9 AGI最佳：Rust + WebAssembly - 3 • WebAssembly – 更快、更轻、更安全 • 沙盒机制提供了更安全的生产环境 • 保护用户数据、系统资源