强化学习 课件 第2章 Bandit问题.pptx

第二章Bandit问题

北京大学余欣航;目录;Bandit问题;多臂老虎机问题（Multi-ArmedBandit，MAB）;多臂老虎机问题是退化的MDP;多臂老虎机问题（Multi-ArmedBandit）;简单策略;简单策略的缺点;贪心策略（greedy）;贪心策略的缺点;探索与利用平衡;生活中的探索与利用;在MAB问题基础上增加状态的ContextualBandit问题经常被用于广告推荐

;临床试验

利用：试验期间尽可能有效地治疗患者

探索：通过研究确定最佳治疗方法

;探索利用困境;有监督学习与强化学习的区别;算法的成本;重新定义MAB问题;重新定义MAB问题;将接下来50次试验的机会平均分配给第1、2、5号摇臂，得到如下结果：

上述结果可以认为，第1和第5两个摇臂更可能是最佳摇臂;重新定义MAB问题;利用的意义;利用的意义;探索与利用;?;探索和利用;?;探索率的选择;?;?;ε递减策略（ε-greedywithεdecayed）

;Boltzmann策略;?;回顾上节给出的算法结果：

最后不仅需要选择一个最好的摇臂，还要尽力比较所有候选的摇臂

不应该根据摇臂能够带来多大的收益来对每一个摇臂分配实验次数，而应该根据它“有多大可能是最佳的摇臂”

;Boltzmann策略;Boltzmann策略;?;上置信界策略（UCB）;UCB策略（UpperConfidenceBound）;UCB策略;UCB策略的理解;UCB策略的理解;总结;实践案例：多臂老虎机问题策略实现;案例简介;扫描二维码发现更多