【炼丹保姆】如何应对验证损失波动比较大?
-
前言
炼丹看验证损失值,要是看到炼丹损失值波动比较大怎么办?
可能原因及其解决方案
原因A
batch size设置小了,因为batch size过小,导致每个batch之间的差异可能会比较大,从而导致损失值波动较大
解决方案
适当提高batch size
原因B
学习率设置大了,因为学习率过大,模型参数更新过于激进,从而导致了波动
解决方案
适当降低学习率
原因C
损失函数设计出了问题
解决方案
需要单独分析排查问题,可以先用通用损失函数试试看,先确定是否是这个原因。
-
Alice_恒源云