本文提出了电力网络中的一个问题，该问题为多智能体强化学习（MARL）的应用创造了一个令人兴奋但具有挑战性的现实世界场景。脱碳的新趋势正在给配电网带来过度压力。主动电压控制被视为一种有希望的解决方案，可以缓解电力拥堵并改善电压质量，而无需额外的硬件投资，利用网络中的可控设备，如屋顶光伏（PV）和静态无功补偿器（SVC）。这些可控设备数量众多，分布在广阔的地理区域，使MARL成为一个自然的候选。本文在Dec POMDP的框架中阐述了有源电压控制问题，并建立了一个开源环境。它旨在弥合电力社区和MARL社区之间的差距，并推动MARL算法在现实世界中的应用。最后，我们分析了有源电压控制问题的特殊特征，这些问题对最先进的MARL方法造成了挑战（例如可解释性），并总结了潜在的方向。
多智能体强化学习（MARL）在游戏（如国际象棋[1]、星际争霸[2]、3]等）和机器人[4]上表现出色。现在有越来越多的兴趣和推动力在现实问题中应用MARL。电力网络是MARL算法的天然测试场。电力网络中存在许多涉及大量代理的合作或竞争行为的问题，如市场竞价[5]、电压控制、频率控制和紧急情况处理[6]。在电网中应用MARL的障碍之一是缺乏透明度和保障，考虑到可靠供电对整个社会的重要性，这是不可接受的。因此，从对可靠性不太敏感但很难用传统方法解决的问题入手是明智的。配电网中的有源电压控制就是这样一个候选问题。电压控制问题已经研究了多年，但由于分布式资源（如屋顶光伏（PV））的日益普及，最近才受到关注[7]。过多的有功功率注入可能导致电压波动超过电网标准的阈值[8]。电压波动可以通过利用光伏逆变器本身以及其他可控设备（如静态无功补偿器（SVC）和有载分接开关（OLTC））的控制灵活性来缓解。需要一个精心设计的方案来协调这些多个设备，以利用有限的本地信息调节整个网络的电压，这称为主动电压控制[9-12]。有源电压控制问题具有许多有趣的特性。（1） 这是一个局部和全局问题的组合，即每个节点的电压受到所有其他节点的功率（有功和无功）的影响，但影响随着节点之间距离的增加而减弱。（2） 这是一个约束优化问题，其中约束是电压阈值，目标是总功率损失，但约束和控制动作之间没有明确的关系。（3） 配电网络具有包含丰富结构的放射状拓扑，该丰富结构可作为控制的先验知识，但拓扑的节点分支参数可能显著不确定。（4） 如果控制不能满足标准要求，电压控制具有相对大的容差和较不严重的后果。已经多次尝试将MARL应用于有源电压控制[6，13–16]。在特定情况下的每一项工作都显示了最先进的MARL方法的良好性能，并对其进行了修改，以适应有源电压控制问题。然而，目前尚不清楚这些方法是否能很好地扩展到更大的网络，并且对于不同场景的鲁棒性，如渗透水平和负载分布，还有待研究。没有普遍接受的基准来提供公平比较不同解决方案的基础。为了促进对该主题的进一步研究，并弥合电力社区和MARL社区之间的差距，我们为基于MARL的有源电压控制提供了一个全面的测试平台和开源环境。我们正式将有源电压控制问题定义为MARL社区广泛认可的Dec POMDP[17]。我们在Python中展示了一个环境，并用真实的公共数据构建了3个场景，从小规模（即6个代理）到大规模（即38个代理）。本文的贡献总结如下：（1）我们将有源电压控制问题正式定义为Dec POMDP，并开发了一个开源环境。2（2）我们使用7种最先进的MARL算法对有源电压控制问题的不同场景进行了大规模实验。（3） 我们将电压约束转换为势垒函数，并从实验结果中观察到设计适当的电压势垒函数的重要性。（4） 通过分析实验结果，我们暗示了MARL解决有源电压控制问题可能面临的挑战（例如可解释性），并为未来的工作提出了潜在的方向。
