2026年-AiCon：小米大模型端侧部署落地探索-AI大模型应用.pptxVIP

小米大模型端侧部署落地探索

演讲人：黄武伟

小米/大模型算法工程师

CONTENTS

02LLM端侧部署的挑战

01端侧AI的重要性

03相关技术探索

目录

04总结与展望

端侧AI的重要性

在终端设备上直接运行和处理人工智能算法

端侧AI

可靠性：端侧AI减少了对网络连接的依赖，即使在网络不稳定或断开的情况下也能正常工作，提高了系统的鲁棒性。

隐私和安全：所有数据的存储和计算都在本地完成，避免了数据传输到云端可能带来的安全风险。

端侧AI优势

成本效益：端侧AI减少了对云端计算资源的需求，有助于降低成本，特别是在大规模部署时更为明显。

个性化服务：端侧AI可以根据用户的具体使用习惯和偏好提供更加个性化的服务，增强用户体验。

端侧AI优势

小米为什么做端侧AI

l（软件×硬件）Aᴵ

l轻量化、本地部署是小米大模型技术主力突破方向

l小米的端侧设备数量大

LLM端侧部署的挑战

服务器GPU

手机

计算能力

数百TFLOPS的算力（如A100）

相对较低

内存

大容量显存

有限的内存和存储

（通常几个GB到十几GB）

功耗

设计用于高功耗环境，散热要求高

低功耗设计，优化能效

带宽

A100显存带宽接近1.