Double Q-learning

在一些随机环境中，著名的强化学习算法Q-learning表现非常糟糕。这种糟糕的性能是由对动作值的过高估计造成的。这些过高估计是由于引入了正偏差，因为Q-learning使用最大动作值作为最大期望动作值的近义词。我们引入了一种替代方法来近似任何一组随机变量的最大期望值。所得到的双重估计器方法有时会低估而不是高估最大期望值。将双估计器应用到Q-learning中，构建了一种新的非策略强化学习算法double Q-learning。本文表明，新算法收敛于最优策略，并且在一些由于q学习的高估而表现不佳的情况下，它表现良好。

背景：

本文表明，由于对动作值的过大估计，Q-learning在随机mdp中的性能可能很差。

Contributions

Q-learning算法的一个重要方面在之前的工作中被忽视了:使用max算子来确定下一个状态的值可能会导致动作值的大幅高估。由于使用最大值作为最大期望值的近义词会产生积极的偏差，q学习可能会遭受很大的性能损失。本文提出一种备选的双估计器方法，以找到一组随机值的最大值的估计，并表明这有时会低估而不是高估最大期望值。我们用它来构建新的双q学习算法。 

1.高估的原因：

2. Estimating the Maximum Expected Value

在本节中，我们分析两种寻找一组随机变量最大期望值近似值的方法。单估计器方法使用一组估计器的最大值作为近似。这种近似最大期望值的方法是有正偏差的，

 

 

 （1）单估计器方法（Single Estimator）

所谓的单估计就是使用一组估计量的最大值作为近似值，

3. Double Q-learning算法