基于增强学习5G网络切片资源动态优化方案.docVIP

基于增强学习5G网络切片资源动态优化方案 　　摘要：提出了一种基于增强学习的网络切片资源动态优化方案。使用该方案动态调整网络切片资源时，通过考虑未来网络切片中的业务流量变化情况，对业务流量进行预测，从而推断出未来网络资源的划分情况；再通过增强学习算法，使得未来时刻的网络资源划分状态对当前划分策略做出影响，从而得到当前的最佳策略。基于该算法，可以保证在资源分配过程中对网络需求变化做出快速响应，并通过仿真进行了验证。 　　关键词： 5G；网络切片；增强学习；动态优化 　　Abstract： In this paper， a dynamic optimization algorithm based on reinforcement learning for network slicing division is proposed. Network resources can be dynamically allocated in the following ways： the traffic flow can be predicted by considering the changes of flow， then the division of future network resources can be deduced； based on reinforcement learning algorithm， the current partition strategy will be affected by the state of network resource partitioning in the future， and the best division strategy can be got. Based on this algorithm， the change of network requirements can be rapidly responded in the process of resource allocation， and verified by simulation. 　　Key words： 5G； network slicing； reinforcement learning； dynamic optimization 　　1 5G网络架构与网络切片 　　的概念 　　为了能对各业务提供独立的网络服务而又不铺设专用网络，5G网络引入了网络切片技术[1-2]，即使用软件网络定义（SDN）/网络功能虚拟化（NFV）技术，将物理基础设施资源虚拟化为多个相互独立的平行的网络切片，每个网络切片服务于某一具体的业务场景，以满足不同业务场景对带宽、时延、服务质量等差异化要求，从而满足各种垂直行业多样化需求，以增强网络弹性和自适应性。网络切片技术提升了网络资源利用率，节省了运营商的花费。 　　下一代移动通信网（NGMN）5G白皮书中的网络切片如图1[3]所示。目前NGMN对不同的应用场景进行了划分，并为每个应用场景设计了相应的网络切片，总共定义了8个系列，覆盖了现今业务的大部分场景[3]。 　　然而网络切片资源的划分并非是一成不变的，而应随各业务流量的变化进行动态调整。首先，由于部分用户在不断移动，且用户需求往往会随着时间的改变发生改变，所以网络中各业务流量也是动态变化的。此外，第三方服务提供商可能会开发不同的网络业务，形成不同的应用需求，从而要求一??不同的网络切片实例。这都导致了网络切片的划分要随需求的改变发生变动。在基于切片的网络架构中，切片划分的优劣程度直接影响了网络性能，所以如何对切片资源进行动态优化至关重要。 　　针对网络切片资源的动态优化，有学者提出了一种基于比例公平算法的半静态资源分配方案。该方案使各网络切片之间能实现更公平地资源分配[4]。然而该算法更着眼于公平性而不是性能，所以其资源利用率还有提升空间。还有学者认为可以通过对流量进行统计分析，从而得到全网的流量分布特征，再根据流量分布预先构造好基本切片。之后通过分析实时流量的负载和需求构造切片，并将构造结果通过 OpenFlow 协议下发到交换节点上[5]。 　　然而，以上的切片划分算法都是依据当前时刻流量进行优化，而未考虑未来网络流量变化的影响。事实上，在动态优化网络切片资源时需要将未来网络流量的情况一并考虑进来，因为如果在决策时考虑了未来网络的流量变化，则相当于在切片划分策略中引入了预测功能。使得划分结果可以更快地对未来网络的需求变化作出响应。 　　为了解决这一问题，我们提出了一种基于增强学习的动态优化网络切片资源方案。 　　2 基于增强学习的网络 　　切片动态优化方案 　　2.1 增强学习 　　增强