最近斯坦福大学发布了一部新书:《决策算法》( Algorithms for Decision Making),该书主要由Mykel J.Kochenderfer教授编撰。Mykel J.Kochenderfer教授带领的斯坦福智能系统实验室(SISL)实验室,每年在计算机领域各大顶级会议和期刊上收获颇丰,仅在2021年这一个月里,实验室已经有9篇论文于AAAI2021,AAMAS2021,AIAA Journal等顶级会议和期刊上发表。在这里简单介绍下,斯坦福智能系统实验室(SISL)的研究主要是关于用于设计鲁棒决策系统的先进算法和分析方法。他们主要集中在对高效的计算方法的研究上,重点关注如何从高维、概率的问题中推导出最优的策略决策。
《决策算法》主要介绍了在不确定情况下的最优决策算法:
该书涵盖了与决策相关的各种主题,介绍了问题中隐含的数学公式以及解决它们的算法。此外,本书中添加了许多举例和练习题,来传达各种方法下蕴含的直觉。
第一章:概率推理
主要讲述了概率推理(Probabilistic Reasoning),主要包括以下小节:
- 表示(Representation)
- 推理(Inference)
- 参数学习(Parameter Learning)
- 结构学习(Structure Learning)
- 简单决策(Simple Decisions)
第二章:序列问题
书的第二章主要讲述了序列问题(Seqential Problems),主要包括以下小节:
- 确切解决方法(Exact Solution Methods)
- 近似值函数(Approximate Value Functions)
- 在线规划(Online Planning)
- 策略搜索(Policy Search)
- 策略梯度估计(Policy Gradient Estimation)
- 策略梯度优化(Policy Gradient Optimization)
- Actor-Critic算法(Actor-Critic Methods)
- 策略验证(Policy Validation)
第三章:模型不确定性
主要讲述了模型不确定性(Model Uncertainty),主要包括以下小节:
- 探索和利用(Exploration and Exploitation)
- 基于模型的方法(Model-Based Methods)
- 脱离模型的方法(Model-Free Methods)
- 模仿学习(Imitation Learning)
第四章:状态不确定性
主要讲述了状态不确定性(State Uncertainty),主要包括以下小节:
- 信念(Beliefs)
- 确切信念状态规划(Exact Belif State Planning)
- 离线信念状态规划(Offline Belief State Planning)
- 在线信念状态规划(Online Belif State Planning)
- 控制器抽象(Controller Abstractions)
第五章:多代理系统
主要讲述了多代理系统(Multiagent Systems),主要包括以下小节:
- 多代理推理(Multiagent Reasoning)
- 序列问题(Squential Problems)
- 状态不确定性(State Uncertainty)
- 协作代理(Collaborative Agents)