今天我们继续讲优化问题中的自然梯度（nature gradient in optimization）。
上篇我们讲到，模型的输出是一个概率族，定义在某个流形（manifold）上，而不同的模型参数化方式会对应不同的基（或者坐标系）。标准的梯度下降法给出的方向依赖于参数化方式。
因此，我们的目的是找到一个和参数化方式无关的梯度下降方法（Parameterization-independant Decent Direction），这就是natural gradient decent。
上一篇文章： http://deeprlhub.com/d/488-typical-rl-03natural-gradient1
Natural gradient decent的思想就是用模型output distribution的变化来衡量参数更新前后带来的变化（约束参数不要走太"远"），而不是像proximal gradient decent中直接使用、theta的变化来构成右边的正则项。
那怎样衡量输出分布的变化呢？今天我们会讲，KL-divergence是一个很好的方式，并且可以推出neuron manifold上的黎曼度量张量（Riemannian metric tensor）是Fisher Information Matrix（FIM）。
Similarity Measure
衡量两个概率分布的差异时，我们经常使用KL-divergence，而KL-divergence可以用Fisher Information matrix为tensor的metric来近似。
这里 F 是Fisher information matrix，
(1)式的推导过程如下
本文同步发表在我个人知乎： https://zhuanlan.zhihu.com/p/378642844
