深度强化学习和图深度学习都是深度比较新的研究方向，随着近几年的发展应该会推进深度学习更上一个台阶，深度学习目前在互联网，物联网运用比较广泛，一般都需要嵌入式开发，以后深度落地场景应该更趋向与物联网方面，比如机器人开发，或者最近比较火的无人共享汽车，以及在物流仓储行业的使用.

这种问题，如果环境和超参数没错的话，换个强化算法就行了。可以用TD3或者SAC，尤其TD3就是专门用延迟更新动作网络、约束最大Q值、增加更新目标网络的噪声等方法，解决DDPG振荡的，效果拔群。欢迎使用我最近分享的代码库，有tf1和torch版本的主流offpolicy强化算法，DDPG，SAC，TD3，对每个算法都增加了非常简洁的HER和PER的封装，调用方便~

策略熵指标： 对于随机性策略（PPO等）可以用策略熵来表示策略是否“确定”。在训练过程中随着策略提升，策略变得越来越确定，此时熵应该是随着逐渐降低的，熵曲线趋于平缓。
loss指标: 这是DL中的直观指标，虽然不能直接用在DRL来说明策略好坏，但loss是在一直下降还是已经趋于平缓了，可以一定程度上说明网络模型的学习程度，看模型是“学会了”还是“学废了”，趋于平缓可能就是已经训练差不多了，当然“训练差不多”不代表“策略最优”，有些可能loss还在掉，但是策略表现改进不大一直很差（即时已经训练很久）。
reward指标: 这是一个比较直观的指标，但是需要定义清楚是否能直接反应我们策略好坏。reward大多是对于状态之间转移的即时奖励，和整个决策规划的好坏不能直接等价。以下以“DRL用于agent决策导航”为例，我们目标是在最短时间到达目标点同时避障。

加强版spinning up的plot.py脚本。 相比于原始的plot.py文件，增加了如下的功能： 1.可以直接在pycharm或者vscode执行，也可以用命令行传参； 2.按exp_name排序，而不是按时间排序； 3.固定好每个exp_name的颜色； 4.可以调节曲线的线宽，便于观察； 5.保存图片到本地，便于远程ssh画图~

（1）蒙特卡洛、TD、动态规划的关系？ （2）DQN的几个变种以及各自解决了那些问题？ （3）深度强化学习中的DQN和A3C区别与联系？ （4）策略梯度的推导过程？ （5）策略梯度和actor-critic的关系与对比？ （6）A3C和DDPG区别和共同点？ （7）value-based和policy-based关系？ （8）off-policy和on-policy的好与坏？ （9）表格式到函数近似的理解？ （10）Actor-Critic的优点？ （11）Actor和Critic两者的区别？ （12）advantage(优势函数)推导过程，如何计算？