异构无线网络中基于强化学习的频谱管理算法.pdfVIP

2011年 8月 西安电子科技大学学报 (自然科学版) Aug：2011 第38卷 第4期 。K 瓜 NAI oF XIDIAN I ⅡvERSnY V01．38 No．4 doi：10．3969／j．issn．1001-2400．2011．04．006 异构无线网络中基于强化学习的频谱管理算法 张文柱 ，邵 丽娜 (西安电子科技大学 综合业务网理论及关键技术国家重点实验室，陕西 西安 710071) 摘要：提出了一种基于归一化径向基函数的自适应启发评价强化学 习算法，用于异构无线网络系统中 自主的动态频谱分配．该算法利用归一化径向基函数 自适应构建状态空间，加快学习速度；利用 自适应 启发评价机制减少不必要的探索，提高学习效率．通过与无线环境交互，算法学会为不同接入网内的各 个会话动态分配合适的频段．仿真结果表明，在同等网络条件下，该算法能获取更好的频谱利用率和服 务质量，性能优于确定性频谱分配策略和一般的动态频谱分配策略． 关键词：异构无线网络；动态频谱分配；强化学习；归一化径向基函数 中图分类号：TP393 文献标识码：A 文章编号：1001~4oo(2ol1)o4 032-06 Dynamicspectrum allocationalgorithm forheterogeneousradio networksbased on reinforcementlearning ZHANGWenzhu，SHAO Lina (StateKeyLab．ofIntegratedServiceNetworks，XidianUniv．，Xi’an 710071，China) Abstract： Anadaptiveheuristiccritic(AHC)ReinforcementLearningalgorithmispresentedforthedynamic spectrum allocationinanautonomouslydecidingmodeinheterogeneousradionetworksbasedonthenormalized radialbasisfunction(NRBF)．Thealgorithm acceleratesthelearningspeedbyutilizingtheNRBFwhen constructingthestatespace，andimprovesthelearningefficiencyby usingtheAHC schemetoreduce the unnecessaryexploration．Through interactionswith the radio environment， itlearns to allocatethe proper rfequencybandofreachsessioninmultipleradioaccessnetworks．Simulationresultsshow thattheproposed algorithm canleadtoabetterspectrum efficiencyandqualityofservicecomparedwithtothefixedfrequency planningschemeorgeneraldynamicspectrum allocationpolicy． KeyW ords： heterogeneousradionetworks；dynamicspectrum allocation；reinforcementlearning；normalized radia1basisfunetiOn 在IMT—Advanced(