如何评价王树森老师《深度强化学习》这本书？

实验室官方助手

【活动已结束】，获得者如下：

@ljphit @LXYTSOS @han @divergent @tsukiikekaoru @javey @Miracle

Learner

实验室官方助手虽然错过了，但还是评价一个，王老师的这本书看过部分，很通俗易懂，能够吧一个简单的方法说的非常直接，配合圣经书，既能掌握思想，还能很快明白原理，也会让自己有所思考的空间。强烈推荐
王老师在油管上(B站也有)关于TRPO算法的讲解还是非常有意思，推荐。

yinliaofugener

科研小白探探运气

Terminator

王树森老师关于DRL的课程我在B站看过一遍，老师讲得很好，比较透彻，但是难免部分知识没有搞明白。
要是可以有纸质版的书的话，再看看就更好了。
点我，谢谢。

LXYTSOS

本人刚学习强化学习的时候也和王树森老师有着相似的经历和感受。也是从Richard Sutton的Reinforcement Learning: An Introduction开始学，但很快发现里面的知识太理论且深奥，并且跟当前主流的强化学习方法关联不大，知识很难由点串成线形成面，不成体系，零碎。于是中断阅读Introduction，转而从目前强化学习的其中一个研究领域——离线强化学习，开始阅读相关综述、需要解决的问题以及最新进展，由此铺开，逐渐形成体系知识。

学习强化学习，目前来看，能跟上研究潮流、易于理解学习的教材较少，此外，相比计算机视觉，自然语言处理，强化学习方面的论文能找到对应代码来进行学习的情况少之又少，因此为学习强化学习带来不少困难、困惑。因此迫切需要一本书能在讲明白基础数学理论的同时，还能用代码进行实现，例如在离策略评估方面（Off-policy evaluation），曾经我一度困惑不知如何计算连续动作的概率。

最后，看了本书的目录，我觉得今后还可以增加上离线强化学习和离策略评估方面的内容，因为现实应用上，实时与真实环境交互来进行学习可能会带来严重后果，比如自动驾驶、推荐系统、医疗，因此从已经由人类专家采集好的离线数据中进行学习是很有必要的。而off-policy、实时与环境交互的在线学习算法直接用在离线情形下效果并不好。另外，还可以加入安全强化学习、约束强化学习这种更贴近实际应用场景的相关研究工作。

ljphit

王老师在github上传这本书时，就下载了，在学习强化的过程中作为参考，看了部分内容。整体写得通俗易懂，比如用玛丽奥大家熟知的例子。但，新书不免有些小纰漏或表述问题，当时还想着读完整本书，把自己觉得有问题的地方标出来。遗憾的是因为比较花时间，没有做完。另外，也因为这本书，关注到王老师，那时王老师还在美国学术界，转眼王老师也从国外学术界跳回国内的工业界，真是时过境迁。不管怎么样，这本书出版了，对于入门深度强化学习的初学者来说，是一本不错的书籍。

ezreal

很早就关注到王树森大神这本书了，最早在去年就看过这本书的电子版，在Github上都能找到，还有配套的视频和Slides。这本书把知识点讲得很透彻，关键是还通俗易懂！这比起old school的强化学习圣经，简直甩了几条街。Sutton那本书适合当作查阅手册。此外，这本书，覆盖的知识面很全，从单智能体到多智能体学习，从离散的动作学习到连续的动作空间，从14年的DQN到熵正则的SAC，知识的发展脉络非常清晰！可以说是一本对于想入门强化学习新手而言的神书。配套B站教学视频，半个月拿下！

leishenoo7

第一次看是那个超级玛丽的讲解深度强化学习，王老师还是讲解的挺形象，就是速度有些快。专注力要保持，否则就不知道讲哪里了，哈哈。

Liqzh

这两年国内学者对深度强化学习研究越来越深入，出现不少优秀书籍，包括北大董豪的《深度强化学习》，上海交大张伟楠的《动手学深度强化学习》，应该说都有自己的理解：董豪老师注重理论，大而全，但tensorlayer平台不够通用，学起来比较麻烦；伟楠老师的小而精，pytorch代码精炼，但理论讲的比较粗。深度强化是实验和理论紧密结合的学科，在研读经典论文和追踪最新论文的时候一定要实践，期待树森老师的书籍。

实验室官方助手

Liqzh 点评到位，各有优势，取长补短学习更佳

wyzh98 优秀，已经走过了艰难的入门，结合南京大学-周志华老师对入门的总结：你已对RL整体知识点了解

importJ

刚刚接触强化学习这个方向，准备物色一本新手友好的入门书籍，但市面上书籍要么基于不甚熟悉的Tensorflow框架，要么具有复杂难懂的理论推导过程，对于新手入门不太友好。在一些社交平台，了解到王老师等人的猫书大量使用图片是数学更加直观容易理解，详略得当又不失全面性，结构清晰，是初学者很好的选择。

han

真爱粉认证！王树森老师深度强化学习的视频我看过三遍，书籍完整看了一遍。

得到的结论是：王树森老师的视频和书籍是最适合入门强化学习的学习资料，没有之一。

王老师的视频是更新在Youtube上的，推荐大家去Youtube上看啊：https://youtu.be/vmkRMvhCW5c

国内搬运的视频：【深度强化学习入门到熟练（Shusen Wang）】 https://www.bilibili.com/video/BV1BE411W7TA/?share_source=copy_web&vd_source=f029c1e5a16b585192394719cd0d58ac

老师的课件讲义：

课件：https://github.com/wangshusen/DeepLearning

讲义：https://github.com/wangshusen/DRL/blob/master/Notes_CN/chp3.pdf

下载链接: https://pan.baidu.com/s/1XpTgny_Vr0LobBsuYF4KkA 密码:x0wb

下面说一下我推荐的学习的路线，供大家参考。’

总体路线是：课程+代码+经典论文

入门的课程

首先是王树森老师的视频和书籍、其次是李宏毅老师的课程，最后是David Silver强化学习课程。这个建议大家按照这个来学习。王老师的课程非常适合入门，因为强化学习理论和公式比较多，看别的课程或者书籍很容易从入门到放弃，但是由于照顾到初学者课程的深度和广度还是不太够。然后李宏毅老师的课程质量很不错。David Silver强化学习是非常经典的课程，一定不要错过！！！会有一点点难，但是前面你都学习过这两个课程了，相信就可以接受了。其他的资料我就不推荐了。弄明白这三个就很好了。

【【李宏毅】2020 最新课程 (完整版) 强化学习】 https://www.bilibili.com/video/BV1UE411G78S/?share_source=copy_web&vd_source=f029c1e5a16b585192394719cd0d58ac

David Silver强化学习课程：

书籍（推荐看英文版）：《Reinforcement Learning: An Introduction》sutton,v2.2018

视频（国内）：【David Silver深度强化算法学习 +项目讲解】 https://www.bilibili.com/video/BV1kb411i7KG/?share_source=copy_web&vd_source=f029c1e5a16b585192394719cd0d58ac

divergent

今年暑假入门强化学习的时候，在b站上看过很多的视频，很多视频的讲解感觉并不是足够的清晰，直到看了王树森老师的视频，他对强化学习原理的讲解真的是非常清晰，例子也是很生动形象，用短短的6个小时就涵盖了强化学习的大多数内容。当我看到王树森老师出书时，心里尤为震惊，从直觉上就觉得是一本不错的书，当仔细看了这本书的大纲后更印证了我心里的猜测，这本书从机器学习的基础讲起，然后涵盖了DQN、DDPG、多智能体强化学习等常用的算法和内容，b站视频上这部分内容对我目前的科研道路有着极大的入门帮助，我也很期待着在这本书中能有着更为细致的讲解。我在图灵社区上下载了猫书的试读部分，发现其内容十分精简，插图丰富，描述的十分清晰，并且这本书相比于传统的强化学习圣经Reinforcement Learning：An Introduction来说，它涵盖了近些年的很多新方法，阅读这本书也更有利于我们科研人员紧跟时代技术的发展。我相信通过这本书，能够帮助像我一样刚刚进入科研的大家对深度强化学习有一个深层次的理解，能够有利于大家看懂相关的科研论文并从事自己的相关研究。

NAHIL

在我开始接触强化学习时，我在网上看了一些相关的视频和资料，直到几个月前在B站看到王老师讲解的视频之后，我突然就对强化学习的一些知识产生了顿悟的感觉，那感觉太令我兴奋了，六个半小时的视频，全是干货，这是我第一次看视频学习有种看电视剧的感觉。

从那以后王老师的这本书是我平时学习和回顾深度强化学习相关知识时首先看的一本书，强化学习枯燥的内容被老师以通俗易懂的语言逻辑描述出来，着实令人敬佩！

非常感谢王老师带我入了强化学习的大门，我会继续努力！

wyzh98

编者们水平很高，内容直观易懂且时效性强，是极佳的入门资料。三年前通过David Silver和王树森老师的视频入了门，如今已经是DRL的博士生一枚啦。前年看到github上有此书，当时还是编辑版，章节尚未全面，但还是下载下来看了一遍，觉得受益匪浅，许多分析直观易懂且鞭辟入里，分享给了许多实验室同学和需要入门的朋友。Sutton的书固然很好，但此书为想了解研究当今RL全貌的读者提供一个极佳的选项。好书推荐。

RL_DL_ML

不论是从作者团队配置实力，还是本书的章节设置、公式推导，只能说是中国的图解深度强化学习巨作，可见作者团队对深度强化学习领域的高专业度、扎实的知识积累功底。从王老师在B站公开课到Github开源资源，配备这一工具书，应该可以作为初学者强大的入门指导和进阶者的提升功法。非常看好这本书，它一定能为深度强化学习在领域的发展打下坚实的基础。希望有机会抽一本书，更深入学习了解下。😀

javey

我在刚学习强化学习的时候也和王树森老师有相似的过程，也是从Richard Sutton的圣经开始学，但是看了一部分后还是看不懂总体在说什么，开始怀疑是不是自己不太适合搞这个方向，甚至一度差点放弃。后来无意间刷到了王树森老师的课程，听了一次就仿佛打开了新世界的大门，迫不及待地刷完了六个小时的课程，全程通俗易懂又全是干货，最后看完有一种意犹未尽的感觉。后来又了解到王老师在筹划出书，并在GitHub上找到了初版。看了部分内容。整体写得通俗易懂，这本书没有简单地描述算法或推导公式，而是试图解释清楚深度强化学习背后的原理，避免了像阅读Sutton书时的碎片化知识。再一个是本书的内容比较新，主要内容是最近 10 年的深度强化学习方法，而Sutton的书其实很多东西都过时了。所以这本书我感觉更适合初学者，配合PPT和教学视频，入门不在话下。在对整体的方法和原理有一定理解之后，再看Sutton的圣经就得心应手多了。

tsukiikekaoru

emm.18年读的研，在还没入学的时候，大概是在当年3月份，仅在复试时见过一面的导师就发过来了一本尙未写完的《Reinforcement Learning: An Introduction》2nd edition draft。对当时的我来说惊为天书，不是觉得它很精彩，而是完全看不懂啊，大量的公式，还是之前完全没接触过的。只能硬着头皮一点点啃，当时深度强化学习方面的资料，特别是中文的还非常少，非常零碎，这个过程真的非常痛苦。之后入学了，进实验室后进度快了一些。因为当时实验室用的都是基于值函数的强化学习方法，所以这块了解的多一些。

后来打算转到策略梯度方面，就又得重新开始。又去找资料，也就是在这个过程中发现了王树森老师在油管上的视频，大概是在19年还是20年的时候，看了第一个就觉得发现了宝藏，讲解极其深入浅出，不像其他的视频就是把论文和原始公式翻出来再讲一遍，王老师是尽可能简化公式符号中的意义，用更容易理解的语言解释，而不是继续重复论文中的专业深奥词汇，很多之前弄不清楚的一下子就明白了。后面就把王老师在油管上深度强化学习方面的视频全看了一遍，有新发布的视频也是很快去看，还有GitHub上的slide。甚至还去看了王老师在大学里的讲课视频，蓝色衬衫，哈哈哈。

1年前王老师在油管发了一条动态，说是要换工作了，会在年底回到国内加入小红书，还顺便为小红书打了个招聘广告 😃 一方面为王老师找到新的发展方向感到高兴，另一方面也有点私心的担心进入工业界后会不会停更，不过王老师回复说应该还会继续还是蛮开心的，后来王老师确实也还在更新视频。

如今，王老师要出书了，也感到很兴奋，能有更多的人能认识到、接触到王老师的成果，会有更多的人在深度强化学习方面走的更轻松一些，这些都是好事。也预祝这本书能够帮助到更多的人。

LXYTSOS

tsukiikekaoru

“导师就发过来了一本尙未写完的《Reinforcement Learning: An Introduction》2nd edition draft”，莫非你导师是俞凯？

wang

从公众号上看到这篇新书介绍的文章。之前看过莫烦老师的视频，算是有过基础和入门了。今天第一次知道王树森老师的书和视频，快速在B站看了下。简直，太适合我这种既有工程经验又有算法模型经验的人，快速找准方向入门实践了。

[未知] 顺便补充，第一次知道深度强化学习实验室这个网站。感觉内容很丰富啊，非常适合需要入门强化学习的同学

Miracle

作为实验室第一位探索深度强化学习领域的学生，在研究生的初期学习起来挺费劲的，看那些经典论文和sutton的强化学习书都比较吃力，理解起来比较困难，因为他们对于公式的讲接太过详细复杂。然而当我在B站搜索到王树森老师的强化学习课并且观看完之后，让我对强化学习的一些概念有了新的理解，对一些没有弄懂的知识也能理解。老师对于强化学习的一些理论讲解的非常简单易懂，能够很好的用例子进行论述。现在看到王树森老师出版了《深度强化学习》这本书让我觉得这本书应该非常适合刚刚接触强化学习的小白进行学习，相信它能很好的展现王树森老师对强化学习知识点简单明了的阐述。

Document