异构网络垂直切决策研究.pdfVIP

重庆邮电大学硕士论文 摘要 摘要 未来的移动通信环境将包括各种具有不同的传输速率、覆盖范围、系统容量及 服务水平的无线接入网络。为了充分利用不同接入网络的特点，向用户提供无处不 在的服务，就需要实现异构网络之间的协作和融合。而垂直切换是异构网络相互融 合的基础。在垂直切换过程中，切换判决是一个非常重要的环节，直接决定切换性 能。因此，网络间的切换决策算法研究尤为重要。 本论文首先分析了异构网络环境下触发垂直切换的原因，然后总结了当前国内 外所进行的异构网络垂直切换算法，并分析比较了它们的优缺点，最后提出一种基 于马尔可夫决策过程理论的垂直切换决策算法。 ． 马尔可夫决策过程是研究一类随机序贯决策问题的理论。我们首先将异构网络 场景按照马尔可夫决策过程的五重组构建成离散时间折扣马尔可夫决策模型，然后 采用动态规划算法求解该模型，动态规划算法包括策略迭代法和价值迭代法，通过 最大化所有可能状态的准则函数值来获取最佳策略。 由于该模型的转移概率未知，采用动态规划算法势必会造成一定的误差，因此 我们又引入强化学习算法的Q学习法求解该马尔可夫决策过程模型，Q学习法根据 终端所收到的关于某行为执行的报酬和当前状态值的估计来对行为的结果进行不断 的评估，最终得到最佳策略。 最后，我们将提出的基于马尔可夫决策过程理论的垂直切换决策算法应用于 UMTS和WLAN这两个网络间的切换判决。本文考察了多媒体应用、会话类业务、 网页浏览三种应用场景，通过对这三个应用场景的仿真分析，我们可以看出该算法 能够有效地综合评价候选网络的性能，做出合理的切换决策。 关键词：异构网络，切换决策，马尔可夫决策过程，强化学习 重庆邮电大学硕士论文 Abstract Abstract willbe Infuturemobilecommunicationenvironmentthere kindsofwireless many with and accessnetworksdifferenttransmission range,system speed,coveragecapacity service ordertotakefull ofthecharacteristicsofdifferentaccess quality．In advantage for to serviceUSerSin andmeet on networks，toprovide everywhere the needto the networks．Verticalhandoffisthe broadband，weintegrate heterogeneous basic forthe of wireless the requirementintegrationheterogeneousnetworks．During all verticalhandoff