推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？ - 深度强化学习实验室

推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？

Hardlygo

$pic$
$pic2$
$pic3$
这样推导出来alpha的梯度恒正，这是怎么回事？？？？？
问题引自知乎

Hardlygo

会不会因为这个导致梯度爆炸？

Greta

感觉这个问题可以追溯到为什么作者设计\overline{H}为负数～这样原论文中式（11）的约束条件不是恒成立吗

Document