TensorRT+Triton 在云端追求 AI 推理的极致性能.pdfVIP

TensorRT+Triton: 在云端追求AI 推理的极致性能 主讲人： 王猛 计算专家 刘川 资深解决方案架构师 目录 概览 重要更新 新特性 云端实践 TensorRT 概览 用于深度学习推理的高性能 TensorRT: Brief Introduction • 包含深度学习推理优化器和运行时环境，可为 深度学习推理应用提供低延迟和高吞吐量。 • 对在主流框架中训练好的神经网络模型进行优化，并部 署到大规模数据中心、嵌入式平台和自动驾驶平台中。 • 针对多种深度学习推理应用的生产部署提供 和 优化，例如计算机视觉、自然语言处