众所周知，我们目前处在的时代是一个人工智能技术大爆发的时代，

而人工智能当前阶段的最高目标，就是实现通用人工智能，

即一个模型可以实现多种任务，而且该模型效果全面超过人类的能力。

而通用人工智能=神经网络+强化学习这个公式，已经逐步成为共识。

我个人从2019年开始学习和了解深度强化学习领域，

学习了比如stable_lines3，Ray，openAI gym,百度parl，elegantRL，tianshou，FinRL等等很多框架。

也参加了一些离线强化学习和多智能体学习的比赛。

我个人总结了一下自己感悟，

后续也会围绕强化学习写一些文章来阐述我的理念。

我此次要说一下我目前关注到的4个主要趋势：

1）深度强化学习注定出现算力军备竞赛

2）transformer结构将会一统强化学习的江湖

3）rewards函数升级将会是强化学习的重点攻克方向

4）多智能体领域的突破是实现通用人工智能的前夜

                                                           *— **1*** *—*

深度强化学习注定出现算力军备竞赛

强化学习有一个基础要求，就是训练的次数要足够多，

1亿次训练肯定比1万次训练学到的东西要多，

这就要求同时开展分布式计算，

才有可能在短短几天之内从开发部署到完成训练调优。

分布式计算的好处即便是不用显卡，仅仅多核cpu，效果也很好。

在多智能体学习中，分布式计算意味着上亿次的比赛，成为可能。

在离线学习比赛中，分布式计算意味着大数据可以进入到强化学习领域。

我们可以设计更加复杂的观察空间和动作空间。

以我最近参加的离线强化学习比赛来说，

上层是南栖仙策这家公司编写的框架

https://revive.cn/

底层就是Ray这个分布式计算框架。

这方面可以参考rllib这个框架的实现。

https://docs.ray.io/en/latest/index.html

但是这也带来两个问题：

第一，许多旧的框架需要升级

市面上很多框架，都在积极地做这方面改造，

但是在易用性上还是要加强改造。

我认为下一步趋势是更加模块化，标准化。

即框架只需要定义网络结构和一些基础参数，方便开发者快速实现自己想要的网络结构。

第二，深度强化学习对小公司并不友好

谷歌当初训练阿尔法狗，用了50个TPU。

以一小时6.5美元计算，如果训练一个模型，一天需要8125美元。

即便是按新的模型只用4个TPU，一天也需要624美元。

这个费用不是一般公司和个人可以承受得起的。

如果想要训练一个震惊世界的东西，那一定要付出惊人的成本。

                                                              *— **2*** *—*

transformer结构将会一统强化学习的江湖

我经过一段时间的观察，发现两个现象

1）简单的mlp和cnn效果已经达到极限，越来越多的人开始尝试新的神经网络结构

2）多项实践已经证明transformer结构可以有效提升模型效果

在多智能体学习领域，以NeurlPS2021的nmmo比赛环境来说，提供的baseline就是使用了transformer。

https://github.com/NeuralMMO/baselines

在离线强化学习，decision transformer这篇文章也证明使用transformer可以有效提高模型效果。

https://sites.google.com/berkeley.edu/decision-transformer

3）transformer网络在nlp领域和计算机视觉领域的发展迅速，让多种神经网络模型有统一的可能性

试想一下，一个网络结构可以同时满足离线学习和多智能体学习，这种东西迟早会出现。

                                                     *— **3*** *—*

rewards函数升级将会是强化学习的重点攻克方向

目前的算法领域，rewards函数设计非常重要。

但是在未来，可变的，能够自我归因求解的奖励函数将会是未来。

在这里主要的解决思路是两种：

1）可解释的奖励函数：

设计一个可变的，能够自我归因求解的奖励函数，这种奖励函数是向着可解释的方向实现的。这样的好处是可以调参的的思路放进来，tune一切。

2）放弃奖励函数的可解释性

用transformer的方式，将actiton，state转换成一种上下文的对照关系，以把大量训练数据当成语义模型去处理，放弃一个有形的奖励函数。

到底两种之间哪一种比较好，我目前并没有结论，但是大家可以试着去尝试下，毕竟我们搞的是强化学习，要拿模型效果效果说话。

— 4 —

多智能体领域的突破将会是通用人工智能的前夜

通用人工智能的实现就在眼前，前途是一片光明的，

但是要实现这个，还有两点困难：

第一，AI要在多任务领域全面超越人类

谷歌的阿尔法狗证明了在单个任务上算法可以全面超越人类智能，

但是多个任务上，算法的能力并没有显示出来。

这就好比一个学生能够单科考第一，但是别的学科全是不及格。

最近IJCAI2022在搞比赛，基本都是集中在多智能体领域。

比赛的内容是训练一个可以同时在摔跤、相扑、足球、冰球等领域超越对手的智能体模型。这个领域难度极大，很多时候，我们训练出来的模型，是不能超越脚本模型和经验规则模型的。

没有办法证明深度强化学习比人类强，就没法实现通用人工智能。

第二，尽量用单个大模型统一解决问题

一个模型可以在摔跤相扑足球冰球台球等等一系列比赛中胜出，这件事在未来是不敢想象的，但是随着算力和模型结构的升级，正在逐步变为现实。但是要将这些能力用一个模型融合在一起实现，难度又提升了一个等级。只有单个模型才能在标准化和通用性上实现最佳的效果。

— 结语 —

深度强化学习肯定是前途光明的，但是梦想和现实之间需要付出辛勤的汗水和天才的灵感。