基于增强学习与QoE需求函数的自适应无线网络择取-计算机应用与软件.PDFVIP

第３２卷第７期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．７ ２０１５年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１５ 基于增强学习与ＱｏＥ需求函数的自适应无线网络择取优化机制 高继勋　马小雨 （河南工程学院计算机学院　河南郑州４５１１９１） 摘　要　　为了使网络择取机制能在未知的网络信息条件下仍可适应复杂多变的网络；并可迎合客户动态变化的ＱｏＥ需求，且能 对其进行优化，提出了增强学习与ＱｏＥ需求函数相融合的自适应网络择取优化机制。从各类用户出发，划分不同性质的业务，并引 入随机离散原则，建立ＱｏＥ需求函数；根据ＱｏＥ反馈信号，兼顾切换决策的主观与客观性，嵌入最小二乘法，构建网络切换决策优化 模型，获得决策最优值；计算切换开销与客户需求的概率中间值，并定义了最优网络切换规则，耦合增强学习对网络进行择取／切换； 设计增强学习参数更新法，完成会话业务发送。在ＭＡＴＬＡＢ仿真平台上对该机制以及其他几种无线网络择取方法进行了测试，实 验结果显示：随着网络切换开销权重的不断增大以及转移概率矩阵的实时变化，所提出的机制的性能最好，而且最稳定。 关键词　　增强学习　ＱｏＥ需求函数　决策优化　自适应网络择取机制　开销权重　转移概率矩阵 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０７．０３５ ＡＤＡＰＴＩＶＥＷＩＲＥＬＥＳＳＮＥＴＷＯＲＫＳＥＬＥＣＴＩＯＮＯＰＴＩＭＩＳＡＴＩＯＮＭＥＣＨＡＮＩＳＭＢＡＳＥＤ ＯＮＲＥＩＮＦＯＲＣＥＭＥＮＴＬＥＡＲＮＩＮＧＡＮＤＱＯＥＤＥＭＡＮＤＦＵＮＣＴＩＯＮ ＧａｏＪｉｘｕｎ　ＭａＸｉａｏｙｕ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ，ＨｅｎａｎＩｎｓｔｉｔｕｔｅｏｆＥｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｎｇｚｈｏｕ４５１１９１，Ｈｅｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｏｒｄｅｒｔｏｍａｋｅｔｈｅｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎｍｅｃｈａｎｉｓｍａｄａｐｔｔｏｔｈｅｃｏｍｐｌｅｘａｎｄｃｈａｎｇｉｎｇｎｅｔｗｏｒｋｕｎｄｅｒｔｈｅｃｏｎｄｉｔｉｏｎｏｆｕｎｋｎｏｗｎ ｎｅｔｗｏｒｋｉｎｆｏｒｍａｔｉｏｎａｎｄｔｏｃａｔｅｒｆｏｒｔｈｅＱｏＥｄｅｍａｎｄｏｆｕｓｅｒｓｄｙｎａｍｉｃｃｈａｎｇｅｓ，ａｓｗｅｌｌａｓｃａｎｂｅｏｐｔｉｍｉｓｅｄ，ｗｅｐｒｏｐｏｓｅｔｈｅａｄａｐｔｉｖｅｎｅｔｗｏｒｋ ｓｅｌｅｃｔｉｏｎｏｐｔｉｍｉｓａｔｉｏｎｍｅｃｈａｎｉｓｍｗｈｉｃｈｉｎｔｅｇｒａｔｅｓｔｈｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇａｎｄＱｏＥｄｅｍａｎｄｆｕｎｃｔｉｏｎ．Ｉｔｓｅｇｍｅｎｔｓｔｈｅｂｕｓｉｎｅｓｓｅｓｗｉｔｈｄｉｆ ｆｅｒｅｎｔｎａｔｕｒｅｓｆｒｏｍｔｈｅｖｉｅｗｏｆｅａｃｈｋｉｎｄｏｆｃｕｓｔｏｍｅｒ，ａｎｄｉｎｔｒｏｄｕｃｅｓｒａｎｄｏｍｄｉｓｃｒｅｔｉｏｎｐｒｉｎｃｉｐｌｅｔｏｓｅｔｕｐＱｏＥｄｅｍａｎｄｆｕｎｃｔｉｏｎ；ａｃｃｏｒｄｉｎｇ ｔｏｔｈｅｆｅｅｄｉｎｇｓｉｇｎａｌｆｒｏｍＱｏＥ，ｉｔｔａｋｅｓｉｎｔｏａｃｃｏｕｎｔｂｏｔｈｔｈｅｓｕｂｊｅｃｔｉｖｉｔｙａｎｄｏｂｊｅｃｔｉｖｉｔｙｏｆｓｗｉｔｃｈｉｎｇｄｅｃｉｓｉｏｎｓ，ｅｍｂｅｄｓｔｈｅｌｅａｓｔｓｑｕａｒｅｓ ｍｅｔｈｏｄａｎｄｂｕｉｌｄｓｔｈｅｏｐｔｉｍｉｓｅｄｎｅｔｗｏｒｋｓｗｉｔｃｈｉｎｇｍｏｄｅｌａｓｗｅｌｌａｓｇｅｔｓｔｈｅｏｐｔｉｍａｌｄｅｃｉｓｉｏｎｖａｌｕｅ；Ｉｔｃａｌｃｕｌａｔｅｓｔｈｅｃｏｍｐｒｏｍｉｓｅｐｒｏｂａｂｉｌｉｔｙ ｏｆｓｗｉｔｃｈｉｎｇｅｘｐｅｎｓｅａｎｄｕｓｅｒｎｅｅｄｓ，ａｎｄｄｅｆｉｎｅｓｔｈｅｂｅｓｔｎｅｔｗｏｒｋｓｗｉｔｃｈｉｎｇｒｕｌｅｓ，ｔｈｅｎｃｏｕｐｌｅｓｔｈｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｔｏｓｅｌｅｃｔａｎｄ ｓｗｉｔｃｈｔｈｅｎｅｔｗｏｒｋ；Ｆｉｎａｌｌｙ，ｉｔｃｏｍｐｌｅｔｅｓｔｈｅｓｅｓｓｉｏｎｓｅｒｖｉｃｅｔｒａｎｓｍｉｓｓｉｏｎｂｙｄｅｓｉｇｎｉｎｇｔｈｅｕｐｄａｔｅｍｅｔｈｏｄｏｆｒｅｉ