基于边缘频谱效率家庭基站无线资源分配算法_季祥芬.pdfVIP

第18 卷 第2 期 电路与系统学报 Vol.18 No.2 2013 年 4 月 JOURNAL OF CIRCUITS AND SYSTEMS April ，2013 文章编号：1007-0249 (2013) 02-0242-06 * 基于边缘频谱效率的家庭基站无线资源分配算法 季祥芬， 朱琦 （南京邮电大学江苏省无线通信重点实验室；南京邮电大学 教育部宽带无线通信与传感网技术重点实验室，江苏 南京 210003 ） 摘要：为了解决日益增长的室内无线资源的需求，近年来人们提出了基于OFDMA 系统的家庭基站网络，但是由 于OFDMA 系统的频谱资源的匮乏，合理使用无线资源改善家庭基站网络的频谱效率成了人们研究的重点。本论文是 在基于OFDMA 的家庭基站的场景下提出了一种新的基于Q 学习的动态信道分配机制，避免了解决复杂的最优化问题。 该算法动态地调整各复用系数下的信道数，同时考虑所有家庭基站的频谱效率作为奖赏函数，在尽量保证最低频谱效 率的同时提高家庭基站的系统频谱效率。仿真结果表明该算法在满足了家庭基站网络的QoS 要求的基础上提高了家庭 基站系统的频谱效率。 关键词：家庭基站网络；Q 学习；强化学习；频谱效率 中图分类号：TN911 文献标识码：A 1 引言 调查显示，近年来移动设备有三分之二使用的环境都在室内，一般在家庭或者企业，而且这种室 [1] 内使用的情况有明显增加的趋势 。为了适应这种发展趋势，家庭基站应运而生。家庭基站一般通过 有线网络连接到运营商核心网络。由于家庭基站覆盖范围小，低花费和低功耗，所以家庭基站可以分 布得比宏基站更密集，这样频谱可以得到更有效的复用，从而为室内用户提供更宽的频谱和更好的服 务质量。家庭基站的出现势必会增加对宏基站用户（宏用户）的干扰，所以如何进行合理的资源分配 来降低家庭基站对宏用户的干扰已经成为运营商考虑的主要问题之一[2,3] 。合理分配家庭基站的资源不 仅可以降低对宏用户的干扰而且家庭用户间的干扰也会降低从而获得更好的服务质量。 正交频分多址接入（OFDMA ）已经被选为LTE 和4G 网络的下行接入技术，OFDMA 的特点是不 同的子载波间使正交的，所以小区内部干扰可以忽略。在LTE 中定义能分配一个用户的最小时频单位 [2] 为一个资源块（Resource Block ，RB ） 。当一个RB 被分配为多个小区时就会引起小区间干扰，降低 了用户的信干噪比从而降低了用户的服务质量。很多论文都已经涉及到多种小区间干扰消除或减轻的 方法。这些方法主要是通过分配频谱来提高系统性能，当然也有通过功率控制[4] 以及功率和频谱联合 分配的方法[5] [4] 。在家庭基站分布不密集的情况下，基于频谱全复用的功率控制 的方法可以很大程度 上减小干扰，但是对于一栋建筑物中家庭基站分布非常密集的时候，采用功率控制还是会产生很大的 干扰，在这种情况下基于频谱分配的部分频率复用是广泛使用的方法，文献[6,7]采用的是静态的部分 频率复用方式，文献[5,8]采用的是动态频率复用方法，其中文献[5]是基于自组织的方式进行频谱和功 率的联合优化，而文献[8]是将部分频率复用与图论的方法相结合。 强化学习（RL ）[9]是一种从动物学习、自适应控制等理论发展而来的一种机器学习方法，它将环 境的反馈作为输入，通过不断地与环境试探性交互来确定和优化动作的选择。Q 学习是 RL 中的一种 经典的学习方法，它利用状态-动作对的 Q 值函数进行迭代，利用其奖赏函数作为估计来选择下一动 作并优化Q 函数。本文将家庭基站网络的集中控制中心作为是一个agent ，将Q 学习与频谱分配相结 合提出了一种基于Q 学习[9] 的动态频谱分配方法，动态地调整各复用系数下的信道个数，同时考虑所 有家庭基站的频谱效率作为奖赏函数，在尽量保证最低频谱效率的同时