基于分布式独立学习的多用户动态频谱接入新算法.docVIP

基于分布式独立学习的多用户动态频谱接入新算法 摘要：随着无线通信的飞速发展，无线频谱资源日益紧张，然而某些频段资源的利用率却很低，认知无线电正好是能有效缓解频谱分配与利用这对矛盾的技术。本文在认知用户独立学习的基础上提出一种多用户动态频谱接入新算法。该算法中每个认知用户都是一个基于独立学习的智能体，它不知道在联合行动中其他认知用户的行动策略，仅维护自己的一个关于状态-行动对的Q值表，并且每个认知用户各自采取独立的迭代过程。同时本文将各个用户频点的信噪比引入到奖赏函数r中，在降低认知用户与主用户发生冲突的概率的同时，提高了系统的平均容量。仿真结果表明该算法可以降低冲突概率，在考虑频点信噪比的情况下，系统的平均容量可以得到提高。 关键词：认知无线电；频谱接入；多用户；强化学习；双Q学习算法 A new algorithm of dynamic spectrum access of multi-users based on independent learning Abstract：With the rapid growth of wireless communications ，cognitive radio has been recognized as an effective solution to the conflict brought by the distribution and utilization of spectrum resources. In this paper, we put forward a new algorithm of dynamic spectrum access of multi-users based on independent learning. In this algorithm, each cognitive user is an agent based on independent learning. It only protects their own Q-value table of state-action without knowing the actions of other cognitive users in joint operations.Each cognitive user takes their own independent iterative process. Meanwhile this paper takes SNR of each channel into account in the reward function r. Simulation results show that this new algorithm can reduce probability of conflict between the cognitive users and the main users. Furthermore when considering the SNR this new algorithm can enlarge the system’s average capacity. Keywords: cognitive radio; spectrum accessing; multi-users; reinforcement learning;DAQL 1 引言 随着无线通信技术的飞速发展，频谱资源变得越来越紧张。为了解决频谱资源匮乏的问题，基本思路就是尽量提高现有频谱的利用率。为此，人们提出了认知无线电的概念。认知无线电的基本出发点就是：为了提高频谱利用率，具有认知功能的无线通信设备可以按照某种“伺机(Opportunistic Way)”的方式工作在已授权的频段内。认知无线电的核心思想就是使无线通信设备具有发现“频谱空洞”并合理利用的能力。Temporal Difference）方法,解决了强化学习中根据时间序列进行预测的问题,并证明了在系统满足马尔可夫属性[9]、α绝对递减条件下, TD 方法收敛于最优。文献[10，11]提出一种著名的强化学习方法:Q-learning，不同于TD学习的迭代仅考虑状态的值函数, Q学习利用状态-动作对的值函数Q ( s , a) 进行迭代,利用其奖赏并作为估计函数来选择下一动作,即直接优化Q函数。文献[12]提出了Sarsa算法，它是一种基于模型算法，最初被称为改进的Q学习算法。它仍然采用的是Q值迭代。Sarsa是一种在策略TD学习(on-policy TD)。 文献[13]研究了单认知用户情况下基于DAQL算法的动态频谱接入方案，但是却不能解决多认知用户情况下的动态频谱接入问题。本文在文献[14]的基础上，