基于客户端的学习算法节能问题.pdfVIP

深圳大学本科毕业论文（设计）诚信声明 本人郑重声明：所呈交的毕业论文（设计），题目《基于客户 端的学习算法节能问题》是本人在指导教师的指导下，独立进行研 究工作所取得的成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式注明。除此之外，本论文不包含任何其他个 人或集体已经发表或撰写过的作品成果。本人完全意识到本声明的 法律结果。 目 录 摘要 (关键词)1 1．引言1 1．1 选题意义 1 1．2 国内外发展状况 1 1．3 展望 2 1．4 目前强化学习遇到的问题2 1．5 研究方法的探索 3 2．系统模型及理论支持3 2．1 马尔科夫决策过程 3 2．2 强化学 3 2．3 Q 学 4 2．4 Q 学习的信道选择算法 5 2．5 Boltzmann 学习规则 6 2．6 模拟退火过程7 2．7 OFDM 的信道接入方式 7 2．8 系统模型7 2．9 蒙特卡洛方法8 3．算法流程及实验过程8 3．1 实验过程 8 3．2 算法流程 8 3．3 仿真过程 10 4．结果分析11 4．1 数据分析 11 4．2 实验中存在的问题和可行性 13 5．结束语13 6．参考文献13 7．致谢14 abstract(key words)15 基于客户端的学习算法节能问题 信息工程学院电子工程系（集成电路设计与集成系统） 蔡凯钊 学号：2014130254 【摘要】如今移动客户端数量日益增多，通信频道资源渐渐难以满足需求，本文采 用一种基于 Q 学习的信道选择算法，通过建立点对点用户之间的通信信道模型，并且建立 一个合理的回报函数，使得智能机能够通过总结经验来改善行为决策，进而使得最终可以 得到最优的选择决策。由仿真结果可以得出，该算法可以有效的提高用户接入信道的平均 信道容量，由于信道的平均容量得到了提升，信息在该系统下的信息传递速率也会有一定 的优化，从而达到充分利用优秀信道资源，节约信道资源的效果。 【关键词】信道选择；Q 学习；节能问题 1．引言 1.1 选题意义 人工智能是现今最热门的研究领域之一，其中研究人工智能的核心方法就有机器学 习。最初是希望计算机拥有一定的自我学习能力，从而可以自我获取知识、提高智能性。 随着机器学习领域的不断探索，将人类的学习能力赋予机器已经不再是机器学习的主要目 标了， 研究目标转向了可以有效地由计算机实习数据分析技术。然而机器学习需要采集大 量的环境反馈，累积奖赏值，从而获得最优决策，这一过程需要大量的数据采集、分配和 计算，对于计算机的能耗有着较大的要求。为了节约能耗，我们需要通过强化学习，优化 算法结构和效率，从而用更少的能耗找到最优决策，这样可以减少对硬件的要求，将机器 学习推广到更多领域中。 强化学习，是机器学习领域中一种重要的学习方法，强化学习的应用烦恼为涵盖了智 能控制、机器人及分析预测等众多领域。在无线通信领域中，无线资源的需求日益增加， 如何高效有序的将信道频谱资源进行分配，也是节约能耗的一个关键问题。本文通过强化 学习的方法来对频谱接入，和信道分配进行动态规划，目的是为了合理运用现有资源，充 分改善资源利用率，为实现动态频谱管理，和减少频谱资源需求，提供了一定的实践基 础。 1.2 国内外发展状况 国内外对于强化学习都有众多的研究成果和应用实例，目前发展应用较多的几个方面 有：在调度管理中的应用：调度问题是一种随即优化控制问题的实际例子，解决这种问题 将会带来很高的经济价值。比如，Crites 和 Barto 就把强化学习算法应用到楼层电梯系统 中。通过强化学习算法，采集记录乘客的位置和目标楼层，动态规划电梯的行径，其效率 远远超过了一般的动态规划。另外，强化学习的应用例子还有很多，如，在蜂窝电话系统 中动态信道分配及机器调度问题。 在机器人技术中的应用：机器人研究领域是强化学习最适合，也是应用实例最多一个 领域。近年来国际上兴起了将强化学习应用