基于自适应模型分裂的边缘-云协同推理系统设计与通信优化.docxVIP

PAGE2

基于自适应模型分裂的边缘-云协同推理系统设计与通信优化

摘要

随着物联网与智能终端的普及，深度神经网络在边缘场景的推理需求激增。然而，边缘设备算力与内存受限，而全云端推理面临高延迟与带宽瓶颈。为解决此矛盾，本文设计并实现了一种基于自适应模型分裂的边缘-云协同推理系统。系统核心方案为根据实时网络状态与设备负载，动态选择深度模型最优分裂点，将前段计算置于边缘，后段计算卸载至云端，并辅以特征压缩技术优化通信开销。

本文首先分析了协同推理的现实痛点与需求，构建了系统总体架构与功能模块；其次，深入设计了自适应分裂决策算法与特征数据压缩机制；随后，基于PyTorch与gRPC完成了系统实现，并重点攻克了动态决策震荡与特征序列化冗余等难点；最后，通过多场景测试验证了系统有效性。本设计的核心创新在于提出了一种基于带宽与算力双约束的启发式分裂点寻优算法，有效降低了波动网络下的推理延迟与通信开销，为边缘智能落地提供了可行方案。

第一章绪论

1.1研究背景

近年来，深度学习在图像识别、目标检测等领域取得突破，其应用正向边缘侧快速延伸。智能安防、自动驾驶与工业质检等场景，要求终端设备具备实时感知与决策能力。这些应用往往面临海量数据产生与严格时延限制的双重压力，传统的全云端推理模式难以满足需求。

将所有原始数据上传云端，不仅消耗巨大网络带宽，还引入不可控的传输延迟。在弱网环境下，云端响