Adam的三重罗生门

参数	意义
α	learning rate
β1	the exponential decay rate for the 1st moment estimates
β2	the exponential decay rate for the 2nd moment estimates
ε	a small value for numerical stability
f(θ)	objective function

\begin{array} \text{begin:} \\ \hspace{10mm}m_{0} \leftarrow 0 \\ \hspace{10mm}v_{0} \leftarrow 0 \\ \hspace{10mm}t \leftarrow 0 \\ \hspace{10mm}while \ \ \theta_t \ \ do \ \ not \ \ converge:\\ \hspace{10mm}\hspace{10mm}t \leftarrow t + 1\\ \hspace{10mm}\hspace{10mm}g_t \leftarrow \nabla_{\theta}f_t(\theta_{t-1}) \cdot{g_t}\\ \hspace{10mm}\hspace{10mm}m_t \leftarrow \beta_1\cdot{m_{t-1}+(1-\beta_1)\cdot{g_t}} \\ \hspace{10mm}\hspace{10mm}v_t \leftarrow \beta_2\cdot{v_{t-1}+(1-\beta_2)\cdot{g^2_t}}\\ \hspace{10mm}\hspace{10mm}\hat{m_t} \leftarrow m_t/(1-\beta^t_1)\\ \hspace{10mm}\hspace{10mm}\hat{v_t} \leftarrow v_t/(1-\beta^t_2)\\ \hspace{10mm}\hspace{10mm}\hat{\theta_t} \leftarrow \theta_{t-1} - \alpha\cdot\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)\\ \text{end} \\ \end{array}

1. \(m_t,\beta_1\) :

   \(m_t\) 代表的是从第 0 个 time step 累积到第 t 个 time step 的动量，动量使每次更新时能够保留之前更新的方向；

   第t个time step的动量是由 \(m_{t-1}\cdot{\beta_1}\) 及 \((1-\beta_1)\cdot{g_t}\) 相加得到，所以 \(\beta_1\) 代表着 你是更相信前次的动量, 还是更相信本次的梯度 。因为保留了之前更新的方向，除了在更新时较稳定，更可以使参数卡在局部最小值时仍可以脱离出来。

   举例来说，当梯度 \(g=0\) 时，一般的SGD并不会更新参数 \(\theta\) ；而在Adam中，当 \(g=0\) 时, \(m_t=m_{ t-1 }\) , 亦即 \(m_t\neq0\) ，\(\theta\) 还是会更新，并有机会逃离局部最小值。

2. \(v_t,\beta_2\) :

   在Adam中，\(v_t\) 、 \(\beta_2\) 在演算法中的意义与 RMSProp 相同。\(v_t\) 的目的是随梯度g去调整 learning rate 的大小；\(\beta_2\) 则保留前一个时刻 learning rate 的比例。由于训练前期及后期的梯度值相差甚大，借由 \(v_t\) 和 \(\beta_2\) 调整 learning rate 即可得到更好的收敛效果。

• MNIST：Adam 的原始论文中提及，他们采用的默认参数可以在这个资料集得到最佳结果， 不过我仍会对这个十分经典的 toy example 中做验证。
• Cifar-10：由于在Tensorflow的官方文档 在ImageNet表现最好的时候是ε = 1或0.1，我想在比较简单的图形辨识 Cifar-10 尝试 Google Net的最佳参数能否也得到最好的结果。
• Kaggle，美国房价dataset：不同于前两个图形分类问题，我测试在 regression 的 task 中，Adam 的默认参数的收敛效果。
• Conditional DCGAN：在 DCGAN 的众多网上源码中^{2, 3}，我发现大部分Adam中的β1设为 0.5， 我想比较与默认值β1 = 0.9的差异。

• Wasserstein GAN：WGAN 的原始论文中⁴提及，若是使用Adam 作为optimizer，结果会很差、不稳定，因此我重新验证使用Adam Optimizer 以及 RMSprop 的结果差异。

  Finally, as a negative result, we report that WGAN training becomes unstable at times when one uses a momentum based optimizer such as Adam (with β1 > 0) on the critic, or when one uses high learning rates. …… We therefore switched to RMSProp which is known to perform well even on very nonstationary problems.

注：β1 默认值= 0.9

可以发现除了红线以外，其他三者的轨迹都非常接近，(纵使三者的参数差距颇大)，尤其蓝、绿色的收敛轨迹几乎贴合在一起，因此，图3 聚焦在三者后期的轨迹，以利观察。

当β1 = 0.999时(较默认值大)，收敛轨迹比较难转向，因此收敛情况是这四者之中最糟糕的。推测可能是因为动量较大，导致曲面斜率方向改变时，来不及即时转向；亦即m t 几乎来自于m t-1，较少参考当前的梯度g，由于前期的梯度g较大，所以要是到training后期还保留这么大的梯度，很容易爆掉。至少，从这张图知道，一般的deep learning library会选择β1默认值为0.9而不是像β2的默认值为0.999。

并且，可发现当β1 = 0.1 ~ 0.9，其实收敛方式差异不大，尤其在β1 = 0.1和0.5几乎没有差别。不过，值得注意的是，β1 = 0.1和0.5还是比默认值的收敛情况好一些。

可以发现图中根本没有蓝线轨迹，因为蓝线在第一次迭代时就变成nan 了，原因在于Adam 演算法中若β1 = 1 时会导致分母等于零。而其他三条轨迹的收敛情况都很相近，包含β1 = 0 时的情况，这代表梯度g 跟动量的方向在对称鞍点的情形下几乎一样。

注：β2 默认值= 0.999

选择这几点的原因在于，当β2 介在0.0 ~ 0.9 之间时，收敛轨迹都很相近(可由此图看出)，因此在这个区间只比较这两个端点(0.0 和0.9)，并再多比较比默认值大的另一个极端值： 1.0。可发现，蓝、绿线轨迹几乎不太会随loss function 的变化转弯。当 β2 = 0，物理意义上代表的是不会去记忆之前的learning rate ，所以也不会随着梯度g 减小而减小 learning rate。所以可以知道，β2 至少不能太小，我从后段表7 也有观察到当 β2 很小的时候，结果会变得非常差。

红线的讨论在图8。

从图7中看起来红线轨迹消失了，然而放大收敛过程的起点位置(如图8)，可以发现起点有红点，近一步检查w1、w2的座标可发现，在β2 = 1时，w1和w2的座标完全没有改变，仍维持在(-3.0, 0.8)。原因在于，当β2 = 1时会使算法中 \(\hat{V_t}\) 这一项在分子分母都为零，并考虑参数的变化= \(\dfrac{text{const}}{\hat{v_{t}}+\epsilon}\) 为零(才符合此次实验结果)，表示Tensorflow很可能把分子分母都为零的 \(\hat{V_t}\) 定义成无限大了。

图9 可看出在对称鞍点的情况下，默认值β2 = 0.999 有最好的收敛情形，比0.999 小的 0.0 到0.9 都有差不多的收敛效果(实际上，若将β2 慢慢从0.999调整到0.9，loss 曲线大致就是有规则的从图中黑线过渡到蓝线)，而比默认值大、大到极端值的β2 = 1.0 ，则完全没有收敛效果。

在WGAN 原始论文中提到：因为WGAN 的训练过程较不稳定，不太适合使用就有动量的优化器，可能会导致loss 增加或是产生的sample 变差，因此可用 RMSProp 取代Adam，而此次我也会针对这一点进行验证。