基于W学习的无线网络传输调度方案.docVIP

基于W学习的无线网络传输调度方案 　　摘要：针对无线网络的传输问题，提出了一种适用于无线网络的智能传输调度方案，在马尔可夫决策过程（MDP）的基础上构建了系统模型，通过W学习算法的引入，中继节点对缓存器储存状态及信道质量进行学习，从而在信息数据包的传输过程中智能地选择数据包传输对象及数据包传输方式来达到在节省能量损耗的前提下尽量减少数据包丢失的目的。通过状态聚合方法解决因状态空间过大而导致的维灾问题，同时采用了行动集缩减来以减少某些状态对应的行动数，利用这些简化方法可以发现逐次逼近法的存储空间压缩率为41%，W学习算法的存储空间压缩率为43%。最后，系统仿真结果表明，提出的传输调度方案可以在节省能耗的基础上尽量地传输数据，减少了数据包的丢失，同时采取的状态聚合法及行动集缩减在有效地简化计算的同时并没有影响算法的性能。 　　关键词：传输调度方案；马尔可夫决策过程；W学习算法；中继节点；近似最优策略 　　0引言 　　随着无线通信技术的不断发展，频谱资源日趋紧张，与此同时，通信网络的规模也在不断扩张中。由于智能传输不仅可以提高频谱分配效率，还可以解决大规模传输网络的传输调度问题，所以适用于无线网络的智能传输调度成为研究热点之一。文献[1]在具有节能意识的传感器通信中构建了一种近似最优的加强学习框架，通过使用加强学习来减少传输对系统转移概率的依赖；文献[2]则基于马尔可夫决策过程（Markov Decision Process， MDP）在学习算法的基础上构建了一种无线电网络的传输调度方案，使得在满足缓存器丢包率约束的前提下，最小化平均功率消耗；文献[3]则基于自适应行为，利用指数退避针对载波侦听多路访问（Carrier Sense Multiple Access， CSMA）网络中节点的竞争与合作建立了一种新的方法；此外也有很多文献对无线网络的智能传输调度进行了相关研究[4-9]。 　　本文提出的传输调度方案的主要目的是在无线网络传输中综合考虑传输调度导致的数据包丢失和能量损耗，以获得最大的系统效用。本文将基于马尔可夫决策过程对该方案进行建模，通过模拟仿真将本策略中基于W学习算法求出的策略与逐次逼近法求解该MDP的最优策略及几种算法相比较。此外本文提出了状态聚合法及行动集缩减的近似最优策略求解方法，同时证明，在某些假设条件下近似最优策略等价于最优策略。 　　1系统模型 　　系统模型如图1所示：存在一个无线节点，作为其他k个无线节点的中继，帮它们转发数据。当k个节点的数据到达中继节点后，将被保存到每个节点所对应的缓存器内，再由中继节点通过每个节点所对应的无线信道帮其转发数据。由于在同一帧内，中继节点只能选择帮一个节点转发数据，所以中继节点将根据每个节点所对应的缓存状态，无线信道状态，来判断在每个时隙内为哪个节点传输数据包及调制方式。假设上层数据到达节点i所对应的长度为Li的缓存器呈现到达率为λi的泊松分布，而节点i所对应的无线信道状态可以定义为：C{c0，c1，c2，…，cn}。 　　1.1有限状态马尔可夫信道与自适应调制 　　由于节点所对应的无线信道为快衰落信道，且节点能够对其信道状态准确估计，所以单一节点所对应的传输信道可被建模为遍历的一阶有限状态离散时间马尔可夫链（Finitestate Markov Chain， FSMC）[10]。节点1至节点k对应合并加性高斯白噪声的瑞利信道信噪比（SignaltoNoise Ratio， SNR）呈现指数分布，本文可以将其概率密度表示为函数pSNR（γ）=1γm0exp（-γ/γm0）此公式的表达是否准确，请明确。，其中：γ≥0，γm0表示信道的平均信噪比。本文通过划定信噪比门限Vsnr=[snr1，snr2，snr3，…，snrn]来判定节点传输信道状态，当信道信噪比小于snr1时，定义信道状态为c1；当信道信噪比大于等于这个是否应该为大于等于？请明确。snr1小于snr2时，定义信道状态为c2，以此类推，本文可以将信道分为几种状态：C{c0，c1，c2，…，cn}。对于状态ck，信道处于该状态的概率为pC（ck）=∫Γk+1ΓkpSNR（γ）dγ，且信道状态的转移概率为： 　　pc（ck，ck+1）=N（Γk+1）Tf/pc（ck）；k∈{0，1，…，K-2}（1 　　pc（ck，ck-1）=N（Γk）Tf/pc（ck）；k∈{1，2，…，K-1}（2 　　在这里N（Γk）=2πΓk/γm0fmdexp（-Γk/γm0）， fmd则为最大多普勒频移。对于传输方式相对相移键控（Binary Phase Shift Keying， BPSK）、正交相移键控（Quadrature Phase Shift Keying， QPSK）、8相相移键控（8 Phase Shi