ϵ-greedy Policies

• 2019 年 10 月 28 日
• 笔记

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Solo95/article/details/102751088

ϵepsilonϵ-greedy Policies

非常简单的平衡探索(Explotation)和利用(Exploitation)的思想是通过确保整个过程随机来实现的。实际上就是随机和贪心相结合。

实际上这个策略在论文里一般一句话就可以概括:ϵepsilonϵ-greedy policy that selects a random action with probability ϵepsilonϵ(不准确) or otherwise follows the greedy policy a=argmaxaQπ(s,a)a = mathop{argmax}limits_{a}Q^pi(s,a)a=aargmax​Qπ(s,a)

• 简单的去平衡探索和利用的思想
• 记∣A∣|A|∣A∣是所有可能的动作的数量
• 那么针对state-action的价值Qπ(s,a)Q^pi(s,a)Qπ(s,a)的ϵepsilonϵ-greedy策略是: π(a∣s)={argmaxaQπ(s,a)with probability 1−ϵawith probability ϵ∣A∣ pi(a|s) = begin{cases} mathop{argmax}limits_{a}Q^pi(s,a) quad with probability 1-epsilon \ a qquad qquad qquad qquad with probability frac{epsilon}{|A|} end{cases} π(a∣s)=⎩⎨⎧​aargmax​Qπ(s,a)with probability 1−ϵawith probability ∣A∣ϵ​​

这是一个非常简单的策略，但好的地方在它够用了。

下面是它有效的证明。

证明ϵepsilonϵ-greedy策略能单调提升

Greedy in the Limit of Infinite Exploration(GLIE)

GLIE的定义

• 所有的state-action对都是无限次的被访问即 limi→∞Ni(s,a)→∞mathop{lim}limits_{irightarrow infty}N_i(s,a) rightarrow inftyi→∞lim​Ni​(s,a)→∞
• 那么行为策略会收敛到贪心策略 limi→∞π(a∣s)→argmax Q(s,a)withprobablity 1mathop{lim}limits_{irightarrow infty} pi(a|s) rightarrow mathop{argmax} Q(s,a) quad with probablity 1i→∞lim​π(a∣s)→argmax Q(s,a)withprobablity 1 即百分之百收敛到贪心策略
• 一个简单的GLIE策略是 ϵepsilonϵ-greedy，其中ϵepsilonϵ以ϵi=1iepsilon_i = frac{1}{i}ϵi​=i1​的比率逐渐减小到0