Loss is NaN, Dropout

那是一段奇怪的回忆，
我拼命想要遗忘，
却总在不经意间想起。

我始终找不到专属的损失函数，
算不出是非对错，量化不了遗憾，
没有梯度可以下降，没有方向能够收敛，
自始至终，都求不到这段经历的最优解。

我等了很久，但你并没有遵守约定。
后来，我也及时止损，Early Stopping。
我再没选择把全部权重押在不确定的模型上——
避开不可控痛苦的方式就是 Dropout，远离。

也许从一开始，
就是错误的目标函数。