RL中的异步更新和同步更新有什么区别？

RL中的异步更新和同步更新有什么区别？

同步更新模式下，所有 GPU 在同一时间点与参数服务器交换、融合梯度；
异步更新模式下，所有 GPU 各自独立与参数服务器通信，交换、融合梯度。

异步更新通信效率高速度快，但往往收敛不佳，因为一些速度慢的节点总会提供过时、错误的梯度方向。可通过上一篇介绍的 Stale Synchronous Parallel Parameter Server 方法缓解该问题。
同步更新通信效率低，通常训练慢，但训练收敛稳定，因为同步更新基本等同于单卡调大的 batch size 训练。
但是传统的同步更新方法（各个 gpu 卡算好梯度，求和算平均的方式），在融合梯度时，会产生巨大的通信数据量，这种通信压力往往在模型参数量很大时，显得很明显。因此我们需要找到一种方法，来解决同步更新的网络瓶颈问题。其中最具代表性的一种方法就是：ring all-reduce。

更新于2021年2月4日

NanNan 这位朋友已经说得比较清晰了，有理有据。我没有太多同步和异步的经验，按照自己理解简单补充一下。

同步优点是容易控制，也就是训练稳定性强，有些算法如果是同步更新的话，也更容易复现些。缺点就是效率低、训练耗时长，一大堆数据要同时转移很影响时间，有的actor跑得飞快就要等其他慢的actor，这是很影响学习效率的。
异步优点是效率高，大家各干各的互不耽误，充分利用计算资源，缺点就是相互之间可能“学废”，比如分布式中，一个learner模型更新的飞快，势必会导致它的模型和其他模型的差异性太大，训练波动大。
关于RL在这方面的东西，可以看一下IMPALA算法。

Document