Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    【炼丹保姆】如何应对验证损失波动比较大?

    技术分享📚有奖励
    1
    1
    72
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 173****7719
      173****7719 last edited by

      前言

      炼丹看验证损失值,要是看到炼丹损失值波动比较大怎么办?

      可能原因及其解决方案

      原因A

      batch size设置小了,因为batch size过小,导致每个batch之间的差异可能会比较大,从而导致损失值波动较大

      解决方案

      适当提高batch size

      原因B

      学习率设置大了,因为学习率过大,模型参数更新过于激进,从而导致了波动

      解决方案

      适当降低学习率

      原因C

      损失函数设计出了问题

      解决方案

      需要单独分析排查问题,可以先用通用损失函数试试看,先确定是否是这个原因。

      1 Reply Last reply Reply Quote 2
      • Referenced by  Alice_恒源云 Alice_恒源云 
      • First post
        Last post