2021年，深度强化学习领域有哪些最新技术、环境以及发展？

实验室官方助手

主要包括以下内容（注意：一定是2021年的）

备注：本部分已将评论进行整理，请回答伙伴直接评论即可

1. 有哪些最新的算法？如: XXX算法（Arxiv/Blog地址）

1). Foresee then Evaluate: Decomposing Value Estimation with Latent Future Prediction
2). Uncertainty-Aware Action Advising for Deep Reinforcement Learning Agents
3). 使用分层模型训练体育运动对战机器人，使其动作，战术更类似于人类运动员。Control Strategies for Physically Simulated Characters Performing Two-player Competitive Sports @han-x
4). FOP（Multi-Agent RL） http://proceedings.mlr.press/v139/zhang21m.html , MobILE: （https://arxiv.org/abs/2102.10769）, https://arxiv.org/abs/2107.03996 , https://arxiv.org/abs/2106.00133

2. 有哪些最新的模拟环境？如: XXX环境（Arxiv/Blog地址）

1). AppBuddy (https://github.com/SamsungLabs/appbuddy)
2). 支持GPU加速环境: @NVIDIA: Isaac Gym
3). 上海交大开源MALib【Github地址】多智能体并行训练框架，支持大规模基于种群的多智能体强化学习训练：

3. 有哪些最新的落地应用成果？

1). 使用强化学习来创建高性能飞行控制器：Autonomous navigation of stratospheric balloons using reinforcement learning
2). https://x.company/projects/taara/
3). https://x.company/projects/loon/
3). 使用强化学习来加速芯片设计: @DeepMind: A graph placement methodology for fast chip design

4. 有哪些开放的待解决问题？

1). Learming on the real system from limited samples.
2). System operators who desire explainable policies and Actions
3). Tasks that may be partially observable, alternatively viewed as non-stationary or Stochastic
4). Reward functions that are unspecified, multi-objective, orrisk-sensitive
5). Large and/or unknown delays in the system actuators, Sensors
6). 如何提升现有RL算法的采样效率, 期待 Offline RL 的发展

5. 有哪些最新的研究方向？

1). Reinforcement Learning and AutoML 强化学习与自动机器学习
2). Constrained RL 与 Interactive RL (很早就有的概念说是新的方向有点牵强, 但是我相信时间会证明什么更有用)
3). offline RL。causal rl 强化学习和因果推断有很强的联系，因为它们的核心挑战都是：当我的奖励反馈是"bandit feedback"--只有采用对应动作（action）才能观测到时，该怎么办？这和上面说的因果推断的核心困难的来源是一致的。因果推断的Y(i)对应强化学习中的奖励函数，因果推断中的处理（treatment）对应强化学习中的动作（action）。我们永远只能观测到对应的某种反馈而不是全部--因果推断中称之为潜在结果（potential outcome）而强化学习中把这种性质叫做"bandit feedback"。
4). 聚焦数据：DeepMind 提出数据高效强化学习的新视角数据效率一直是强化学习领域的核心问题。论文《Collect & Infer - a fresh look at data-efficient Reinforcement Learning》提出了新范式。

6. 有哪些新年轻学者？

年轻学者的话, 其他大佬已经列举很多了, 前些日子办的 IJCAI-SAIA-YES 也有很多: 以上就不一一列举了,
其他补充下: 魏宁(大大送本书呗) 马腾宇张伟楠杨耀东田渊栋张海峰郝晓田毛航宇等等

回答请
问题1： ............

han-x

问题1，2 ：使用分层模型训练体育运动对战机器人，使其动作，战术更类似于人类运动员。Control Strategies for Physically Simulated Characters Performing Two-player Competitive Sports

wilam

问题1：：FOP（Multi-Agent RL） http://proceedings.mlr.press/v139/zhang21m.html
MobILE: （https://arxiv.org/abs/2102.10769）
https://arxiv.org/abs/2107.03996
https://arxiv.org/abs/2106.00133

问题2：AppBuddy (https://github.com/SamsungLabs/appbuddy)
SaLinA： https://github.com/facebookresearch/salina

问题3：使用强化学习来创建高性能飞行控制器：Autonomous navigation of stratospheric
balloons using reinforcement learning（https://www.nature.com/articles/s41586-020-2939-8）
https://x.company/projects/taara/
https://x.company/projects/loon/

问题4：

Learming on the real system from limited samples.
System operators who desire explainable policies and Actions
Tasks that may be partially observable, alternatively viewed as non-stationary or Stochastic
Reward functions that are unspecified, multi-objective, orrisk-sensitive
Large and/or unknown delays in the system actuators, Sensors

问题5：Reinforcement Learning and AutoML 强化学习与自动机器学习
https://www.anyscale.com/events/2021/06/23/introducing-amazon-sagemaker-kubeflow-reinforcement-learning-pipelines-for

问题6：董豪周博磊卢宗青郝建业俞扬汪军

hijkzzz

wilam FOP那篇就算了，看完实验部分就感觉不用看了。他们组实验不靠谱_{上回那个GNN的文章也是这样。}

实验室官方助手

获奖名单：

恭喜以下伙伴积极参与本帖讨论，并为本帖提供优质回答，实验室特联合人民邮电出版社，为各位伙伴免费赠送书籍一本《深度强化学习落地指南》，活动链接: 公众号活动：免费赠送6本《深度强化学习落地指南》

名单如下：
wilam forrestneo E-C-Ares louieworth01 Taospirit QuanyuXu

实验室将与各位伙伴邮件联系书籍邮寄，请各位伙伴关注邮箱。
后续实验室将继续为大家谋取福利，欢迎大家在论坛参与讨论，和大家共同成长！

forrestneo

发几个百度PARL的吧
1、PARL强化学习——合成大西瓜
https://aistudio.baidu.com/aistudio/projectdetail/1556392
2、基于飞桨复现强化学习进阶算法SAC，让月球着陆器顺利着陆
https://aistudio.baidu.com/aistudio/projectdetail/888258
3、Rainbow —— 七位一体召唤神龙
https://aistudio.baidu.com/aistudio/projectdetail/1302367
4、用PPO玩超级马里奥兄弟
https://aistudio.baidu.com/aistudio/projectdetail/1434971
5、用飞桨框架2.0造一个会下五子棋的AI模型
https://aistudio.baidu.com/aistudio/projectdetail/1403398
6、强化学习算法帮你自动炒股
https://aistudio.baidu.com/aistudio/projectdetail/599711?channelType=0&channel=0
7、值分布强化学习——FQF
https://aistudio.baidu.com/aistudio/projectdetail/1648250?channelType=0&channel=0

E-C-Ares

问题1: 2021限制太强, 我看大家答的挺多的TAT, AAAI-2021 搜了下放两篇(笑)
1. Foresee then Evaluate: Decomposing Value Estimation with Latent Future Prediction
2. Uncertainty-Aware Action Advising for Deep Reinforcement Learning Agents

问题2: 支持GPU加速环境: @NVIDIA: Isaac Gym

问题3: 使用强化学习来加速芯片设计: @DeepMind: A graph placement methodology for fast chip design

问题4: 如何提升现有RL算法的采样效率, 期待 Offline RL 的发展

问题5: Constrained RL 与 Interactive RL (很早就有的概念说是新的方向有点牵强, 但是我相信时间会证明什么更有用)

问题6: 年轻学者的话, 其他大佬已经列举很多了, 前些日子办的 IJCAI-SAIA-YES 也有很多:
以上就不一一列举了, 其他补充下: 魏宁(大大送本书呗) 马腾宇张伟楠杨耀东田渊栋张海峰郝晓田毛航宇等等

补充提问下, 抛个转不算回答了哈哈
问题4: 在游戏场景自动化生成设计和游戏NPC行为设计以提高游戏体验这些方面, 强化学习是否有比较好的解决方案了, 能做到什么程度?
目前在调研这方面的内容, 也可以看作一个待解决问题吧。如果有哪位大大对这个比较熟悉希望可以进一步交流下。

louieworth01

2 上海交大开源MALib多智能体并行训练框架，支持大规模基于种群的多智能体强化学习训练：github地址：https://github.com/sjtu-marl/malib

5.1 最近一直在关注offline RL。causal rl 强化学习和因果推断有很强的联系，因为它们的核心挑战都是：当我的奖励反馈是"bandit feedback"--只有采用对应动作（action）才能观测到时，该怎么办？这和上面说的因果推断的核心困难的来源是一致的。因果推断的Y(i)对应强化学习中的奖励函数，因果推断中的处理（treatment）对应强化学习中的动作（action）。我们永远只能观测到对应的某种反馈而不是全部--因果推断中称之为潜在结果（potential outcome）而强化学习中把这种性质叫做"bandit feedback"。
5.2 聚焦数据：DeepMind 提出数据高效强化学习的新视角数据效率一直是强化学习领域的核心问题。论文《Collect & Infer - a fresh look at data-efficient Reinforcement Learning》提出了新范式。

Taospirit

问题1：太久没关注学术论文发展。。。先讲个20年的一个：
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay

问题2：仿真环境大家了解差不多，比如公众号之前推送的 @NVIDIA: Isaac Gym，还有之前商汤开源的DI-engine。
不过想介绍一下机器人的仿真环境，基于ros的gazebo是自己之前用的比较多的，瞄准可落地应用，openai很久之前就有支持。

问题3：超参数科技的游戏ai落地，参加2021chinajoy，游戏里面有很多的实际落地，fps\moba都是商业化落地验证过的。

问题4：老问题了。核心还是样本利用率、采样效率问题，还有multi-task的问题，如何应对多任务（有人用transformer+rl来解决）。样本利用率就是算法对样本的利用效率问题，采样效率是任务生产样本的问题。还有一个落地比较关键的是如何“更长时序”的决策问题。

问题5：offline rl：很多任务没法在线产生很多样本，相反有很多历史经验样本是可以直接拿到，怎么离线用这些样本来学习，19开始很多人在研究，现在也是比较前沿的方向。

问题6：知名的大佬大家都知道了，在这里介绍我研究生导师——哈深李衍杰老师，数学背景出生，欢迎大家关注。

QuanyuXu

问题1：https://arxiv.org/abs/2109.06668 深度强化学习探索：综合调查
https://arxiv.org/abs/2109.06580 自调节自治代理的连续稳态强化学习
https://arxiv.org/abs/2109.06449 用于自动化渗透测试的深层强化代理
问题2：最新的模拟环境 https://arxiv.org/abs/2107.09996 通过深度强化学习和程序生成环境探索未知地形
问题3：最新的落地应用成果 https://arxiv.org/abs/2104.05599 基于深度强化学习的主动升沉补偿控制器
问题4：开放的待解决问题 DRL的Sample Efficiency太低了；强化学习总是需要一个奖励函数（reward function），奖励函数很难被定义；有形的奖励通常更容易学习，因为即使agent还没有学到可以完整解决问题的策略依旧会获得一些反馈。智能体在相同的环境中学习，它们可以不断地挑战彼此，并加速彼此的学习，但是如果其中的一个学习得比较快，它就会过度地利用较弱的那个智能体，并导致过拟合等等
问题5：最新的研究方向人脸识别是电子设备宣传的主要功能之一。因此，它实际上值得在计算机视觉方面进行研究。该领域之前的工作主要集中在两个方向：在传统的深度卷积神经网络（Resnet）中转换损失函数以提高识别精度；将最新的损失函数与轻量级系统 (MobileNet) 相结合，以最小的精度代价减小网络规模
问题6：新年轻学者陈俊龙宋士吉

Document