【炼丹保姆】如何应对验证损失波动比较大？

[173****7719]

前言

炼丹看验证损失值，要是看到炼丹损失值波动比较大怎么办？

可能原因及其解决方案

原因A

batch size设置小了，因为batch size过小，导致每个batch之间的差异可能会比较大，从而导致损失值波动较大

解决方案

适当提高batch size

原因B

学习率设置大了，因为学习率过大，模型参数更新过于激进，从而导致了波动

解决方案

适当降低学习率

原因C

损失函数设计出了问题

解决方案

需要单独分析排查问题，可以先用通用损失函数试试看，先确定是否是这个原因。