边缘计算模式下实时数据处理应用执行优化系统设计与实现.pdf

摘要 摘要 随着智能终端快速普及，目标检测、语音文本转换、虚拟现实等终端实时数据处理 应用层出不穷。这些应用产生的任务对完成时间敏感，需要充足的计算资源和模型数据， 具有时延敏感、计算量大、数据密集等特性。然而，大多数终端的处理能力较弱，而移 动云计算模式通信时延长，导致现有计算模式难以满足应用的实时性需求。针对现有计 算模式不足，学术界提出了边缘计算的概念，将计算和存储资源从集中式的云数据中心 分散下沉至网络边缘计算设备 （即边缘服务器），以提供更快的响应速度和更好的服务 质量。然而相较于云数据中心，实际环境下边缘服务器能力有限，单个边缘服务器可能 无法为任务提供足够的计算资源或者所需模型数据，为构建面向实时数据处理应用的边 缘计算系统带来挑战。 针对上述问题，现有工作已分别围绕边缘服务器之间的协同计算与存储开展了研究， 并取得一定进展，但现有工作较少考虑计算与存储的紧耦合性，难以在异构边缘环境下 将任务迁移至既有充足计算资源、又有任务所需模型数据的边缘服务器。具体而言，现 有工作存在如下问题：一方面，异构边缘环境导致边缘处理代价难以准确预估，同时现 有调度策略忽略了模型数据的放置位置，无法保证任务在截止期前完成；另一方面，虽 然边缘层协同存储机制可以缓解单个边缘服务器存储空间有限的问题，但是现有工作侧 重于降低终端或边缘服务器数据获取代价，忽略了模型数据放置差异对边缘层任务迁移 调度的影响，导致任务迁移处理代价高、边缘服务器负载不均衡等问题。 为此，本文针对实时数据处理应用时延敏感、计算量大、数据密集的特点，研究异 构边缘环境下终端与边缘间的协同计算和协同存储机制。在协同计算方面，本文提出了 一种端边协同的实时数据处理任务调度机制。该机制分为“尽力而为”的终端任务调度 机制和“能者多劳”的边缘层协同处理机制两个子阶段，前者无需感知边缘状态，不依 赖对边缘处理代价的准确预估，后者能够综合考虑边缘服务器处理能力和模型数据分布 情况，在边缘层合理分配任务。在协同存储方面，本文提出了一种计算与数据紧耦合的 异构边缘协同存储机制，分析了模型数据存储差异对任务迁移代价的影响，尽可能多地 在边缘层存储任务所需的模型数据，并利用惩罚机制，均衡边缘服务器负载；最后，根 据理论研究成果，本文设计与实现了面向智能终端实时数据处理应用的边缘计算执行优 化原型系统，并基于该系统构建了边缘计算环境下的目标检测应用，同时通过实际环境 下的实验对比，验证了原型系统对实时数据处理应用的性能提升。 综上，本文面向异构边缘环境下的实时数据处理应用，设计了边缘协同计算和协同 存储机制，构建了一个边缘计算执行优化系统。实验表明，本文所提机制能够有效提高 任务成功率，并且能够有效均衡边缘服务器的负载。本文所提理论机制和原型系统有助 于构建边缘计算生态系统，可进一步应用于工业互联网、智慧城市等诸多领域。 关键词：实时数据处理应用，边缘计算，异构边缘环境，任务调度，协同存储 Ⅰ Abstract Abstract Real-time data processing applications on mobile terminals are emerging in an endless stream. These applications induce a significant surge in demand for data and computing resources that are indispensable. However, terminals cannot meet the needs of these applications due to their limited and weak capacity. The current solution that tasks will be offloaded to the cloud data center to obtain enough computing and data resources results in high pr