Epoch>1的PPO算法究竟属于On-Policy还是Off-Policy？

Keavnn

PPO算法在论文中称为On-Policy算法，许多博客中称其为Off-Policy。
PPO在更新策略时通常会将同一批由当前策略采样到的经验反复使用多次，仅在第一个Epoch
poch更新时采样策略=目标策略，之后更新时，采样策略≠目标策略（目标策略已更新优化一次）。所以，PPO算法究竟属于On-Policy还是Off-Policy呢？

Taospirit

直接说结论：PPO算法属于on-policy。这个问题讨论很多，说下个人看法。
PPO继承于TRPO，PPO1和PPO2版本又不一样，以下只讨论使用clip的PPO2。
先引用Spinning up中的说明：

PPO is motivated by the same question as TRPO: how can we take the biggest possible improvement step on a policy using the data we currently have, without stepping so far that we accidentally cause performance collapse?

白话翻译：怎么充分学习利用当前样本来最大限度地提升策略（高效性），并保证策略是稳定提升的（安全性）。

在整个训练的宏观视角下，PPO仅仅学习当前策略产生的样本，学完之后丢弃，这是on-policy的最大体现。
在样本学习的微观视角下，PPO对当前策略产生的样本进行多轮学习，充分挖掘样本学习潜能，提高样本利用率，并加入clip保证策略提升稳定。

所以PPO算法是从on-policy出发，放宽了对目标策略和行为策略的严格约束，提高了on-policy的样本利用率，并加入clip来保证策略是可以稳定提升的。

PonyShan

Taospirit

首先说明on-policy和off-policy区别：

这二者之间的区别，不在于选择action的方式，而在于更新网络参数的数据的收集方式。参考Reddit上的这个讨论。
理论上来说，on-policy的算法只能使用当前正在优化的policy生成的数据来进行训练，当你使用一条(state, action, reward, new_state)的数据对policy网络的参数进行了更新之后，这个“正在优化”的policy立即就变了，于是，你就要用它来生成新的一条数据，再继续进行后面的训练，并且你刚才用于训练的那条数据已经“过时”了，不能再使用，需要丢弃掉。
有人会说这种做法是不是太低效了？于是在实践中，经常是每收集了N条数据才会去更新一次，这N条数据是一个batch，并且这N条数据是用同一个policy生成的。
有人还会说，这好像不对啊？！理论上，用当前的policy生成了一条数据，就应该更新一次policy网络的参数，然后policy网络就变了，此时才能再生成第2条数据，依此类推，当生成到第N条数据的时候，policy网络都不知道变成什么鬼样子了，而如果我们用同一个policy连续生成N条数据才去更新一次policy网络的参数，这时的policy网络能跟一条条更新方式相比吗？确实，这两种方式表面上看起来policy相差会很大，但是，有其他的一些技术可以从数学上保证、并且也从实际效果上证明了：每N条数据才更新一次policy网络的方式，和每一条数据就更新一次policy网络的方式，没有多大区别，可行！
正因为这二者没有多大区别，我们仍然可以把每N条数据才更新一次policy网络、看似用“已经过时”的数据来更新policy网络的方法，叫做on-policy的方法——尽管它在实践操作的时候，看上去非常像off-policy的方法。
我用一个不专业的方法来描述一下：纯粹的on-policy的方法，就像是一个在不停跑步的人，他的姿态永远都在根据当前个人的身体状况调整改变，而每N条数据更新一次policy网络的方法，他只是看上去像off-policy的，但它实际上并没有真的“off”（完全落后跟不上），他只是看上去像是反射弧慢了一点，跑几百步就停下来歇一会儿，然后根据个人的身体状况，在接下来的那一段路程里，再用完全一致的姿态继续跑完（在这一段里不改变姿态）。

Behavior Policy 和 Target Policy / Update Policy

在一些介绍 on-policy / off-policy 区别的文章中，会看到用 behavior policy（行为策略）和 target policy（目标策略）的概念来解释 on-policy / off-policy 之间的区别，至于 update policy，提到这个概念的文章并不算多，比如这篇文章，我觉得大家就按 target policy 来理解就好了。
behavior policy 是指与environment互动生成training data的策略，target policy 是指你用training data不断去更新、优化，最终要拿去用的那个策略。为什么要搞出这两个概念？其实对于 on-policy 的算法来说，这两样根本就是一个东西！也就是说，我们用于生成training data的behavior policy，在生成了一条training data之后，马上就会被更新（现在你可以把它叫做target policy了，所处的位置不同，名称也不同），所以在 on-policy 算法中它俩其实是一回事。

最容易把人搞疯的例子：PPO

PPO（Proximal Policy Optimization，近端策略优化）是当前在强化学习领域内，用于离散动作控制的最知名的算法之一（来自于OpenAI）。这玩意让人费解的地方在于，你会看到无数篇文章，这一篇讲它是on-policy的算法，另一篇讲它是off-policy的算法，而且看似各有各的说法各有各的道理。作为一个知识储备还不够多的人来说，很难判断谁对谁错。
我随便举几个网上搜到的例子：
（1）说PPO是on-policy的文章有：
https://www.zhihu.com/question/321713509
https://github.com/openai/baselines/issues/316
（2）说PPO是off-policy的文章有：
https://blog.csdn.net/qq_30615903/article/details/86308045
https://zhuanlan.zhihu.com/p/39624504（在这篇文章的评论里，有网友提出了质疑，认为PPO是on-policy的）
文章来源：https://www.codelast.com/
这些文章，很多充满了大量的数学公式，非常像样，作为一个初学者，恐怕原来有自己的想法，看了这些文章之后可能也会怀疑人生。
在上面的GitHub链接中，OpenAI的research scientist Matthias Plappert给了一个明确的说法：PPO是一种on-policy的算法。由于PPO就是OpenAI发明的，因此信他没错。

To clarify: PPO is an on-policy algorithm so you are correct that going over the same data multiple times is technically incorrect.
However, we found that PPO is actually quite okay with doing this and we still get stable convergence. This is likely due to the proximal trust region constrained that we enforce, which means that the policy cannot change that much anyway when going over the current set of transitions multiple times, making it still approximately on-policy. You can of course get rid of this but then you'll need more samples.

所以PPO算是一种“近似的”on-policy算法。

本回答引用自理解PPO是on-policy, 仅供交流学习使用，诚挚感谢。

当然还有一些其他回答，详细参考：
[1]. https://www.zhihu.com/question/321713509

yanduoduan

最近也在看这个问题，确定的是ppo肯定是on-policy。第一他在更新之后吧replay buffer里面的experience都清空了，另外在第一个epoch，pi(old)与pi是同一个策略，但是随着更新之后，两个策略会不一致，所以用IS将两个分布限制一下，但是最终还是on-policy 他不像DQN那样，一个策略是epsilon-greedy策略采集transition，一个是greedy进行跟新，ppo本质上更新和采样都是一个策略，只不过在更新时需要IS，将这两个策略限制成一个策略。我也不知道我自己理解的对不对，如果楼主找到了正解，麻烦告诉我一下，谢了!

hijkzzz

TRPO自己论文都写了通过sampling的方式+ IS weight 估计梯度，所以严格来说是 off-policy。近似可以认为 on-policy。

Document