基于Q学习的DDoS攻防博弈模型研究.pdfVIP

第41卷 第 l1期 计 算 机 科 学 Vo1．41No．11 2014年 l1月 Computer Science NOV2014 基于 Q学习的DDoS攻防博弈模型研究 史云放 武东英 刘胜利 高 翔 (数学工程与先进计算国家重点实验室 郑州450002) 摘 要 新形势下的DDoS攻防博弈过程和以往不同，因此利用现有的方法无法有效地评估量化攻防双方的收益以 及动态调整博弈策略以实现收益最大化。针对这一问题，设计了一种基于Q学习的DDoS攻防博弈模型，并在此基础 上提 出了模型算法。首先，通过网络熵评估量化方法计算攻防双方收益；其次，利用矩阵博弈研究单个DDoS攻击阶 段的攻防博弈过程；最后，将 Q学习引入博弈过程，提 出了模型算法，用以根据学习效果动态调整攻防策略从而实现 收益最大化。实验结果表明，采用模型算法的防御方能够获得更高的收益，从而证明了算法的可用性和有效性。 关键词 DDoS攻防，矩阵博弈，Q学习，网络熵，纳什均衡 中图法分类号 TP393．08 文献标识码 A DOI 10．11896／j．issrL1002—137)(．2014．11．040 ResearchonDDoSAttack-defenseGameModelBasedonQ-learning SHIYun-fang WU Dong-ying U U Sheng-li GAO Xiang (StateKeyLaboratoryofM athematicalEngineeringandAdvancedComputing，Zhengzhou450002，China) Abstract TheprocessofDDoSattack-defensegameinnew situationisdifferentnow．sothepayoffvaluecannotbe quantifiedeffectivelyandthegamestrategycannotbeadjusteddynamicallytomaximizethepayoffusingexistingmeth—— ods．Inresponsetothisproblem，aDDoSattack-defensegamemodelbasedonQ-learningwasdesigned，andatthesame timeanalgorithmwasproposedonthebasisofthemode1．Firstly，thepayoffoftheattackeranddefenderwascalculated withthenetworkentropyquantitativeassessmentmethod．Secondly，thesingleDDoSattackstagewasstudiedusingma— trixgamemethod．Finally，themodelalgorithm wasproposedbyintroducingtheQ-learningmethodintothegame process，withwhichthestrategiesareadjusteddynamicallyaccordingtothelearningoutcomestomaximizethepayoff． Theresultofverificationtestingshowsthatthedefendercanachieveahigherpayoffwhenadoptingthemodelalgo— rithm，thusthealgorithm turnsouttobepracticableandeffective． Keywords DDoSattack-defense，Matrixgame，Q-learning，Networkentropy，Nashequilibrium 者的关注_6]。文献[9