基于模型分裂推理的边缘-云协同系统设计与通信开销优化.docxVIP

PAGE2

基于模型分裂推理的边缘-云协同系统设计与通信开销优化

摘要

随着物联网与人工智能的深度融合，在边缘设备上运行深度神经网络模型以支撑实时推理已成为迫切需求。然而，边缘设备算力与存储的局限性，以及将全部数据上传至云端推理带来的高延迟与带宽压力，构成了边缘智能的核心痛点。模型分裂推理通过在深度模型的某一中间层将计算图切分为两部分，分别部署于边缘和云端，能够在延迟与精度之间取得平衡。但分裂点的选择直接决定了中间张量的传输数据量，从而显著影响通信开销与端到端推理时延。

本设计以“基于模型分裂推理的边缘-云协同系统”为研究课题，旨在构建一个能够动态感知网络状态并自适应选择最优分裂点的协同推理系统，以降低通信开销为核心优化目标。论文遵循“需求分析→总体设计→详细设计→实现→测试”的工程递进思路展开。首先，分析边缘推理场景对低延迟、低带宽消耗的需求，提炼出系统的功能与非功能指标；其次，设计分层架构，划分边缘推理模块、网络监测模块、分裂点决策模块与云端推理模块；然后，详细设计基于动态规划的自适应分裂点选择算法与通信压缩机制；最后，通过原型实现与测试验证了系统在多种网络条件下通信开销降低超过50%，端到端延迟满足实时性要求，实现了设计目标。本设计的核心创新点在于融合网络状态感知与模型层特征分析的实时分裂点优化方法，为边缘-云协同推理提供了一种高效、系统的解决方案。

第一章绪论

1.