Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    【一分钟知识分享】什么是超参?

    技术分享📚有奖励
    2
    2
    130
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 173****7719
      173****7719 last edited by

      超参(hyperparameters)指的是模型训练前需要预先设置的参数,通常指的是除了模型本身需要学习的参数外的所有参数。

      常见的超参有learning rate,batch size,dropout rate等。

      当然有些超参还涉及到了模型设计,比如CNN每一层的kernel size, 通道数量,激活函数,层数等,甚至包括不同的优化策略本身也可以作为一种超参,以及其本身涉及到的各种参数,比如ADAM里面的betas。

      不同的超参对模型的影响不同,而想要找到某一组超参使得最终训练出来的模型获得我们期待的表现,就是所谓的炼丹。

      1 Reply Last reply Reply Quote 4
      • Alice_恒源云
        Alice_恒源云 last edited by

        阿洲每期的【一分钟知识分享】,对知识点的表达,既精准又有趣,特别适合炼丹小白一起温习~

        为了方便大家往期回顾,Alice特别整理了一下,地址贴在下面:

        👏 【一分钟知识分享】

        【一分钟知识分享】GPU里的Ti是什么意思?

        【一分钟知识分享】什么是cuda?

        【一分钟知识分享】Pytorch是什么?

        除此之外,阿洲还有多个炼丹心得系列,供大家借鉴参考~

        👏 【炼丹必备】

        【炼丹必备】炼丹萌新指南

        【炼丹必备】调参心法(说人话系列)

        👏 【炼丹保姆】

        【炼丹保姆】Pytorch在训练过程中自动实现学习率衰减

        【炼丹保姆】early stopping 的pytorch实现

        【炼丹保姆】如何给损失函数加权重

        【炼丹保姆】如何应对验证损失波动比较大?

        👏 【实用代码分享】

        【实用代码分享】模块化oss数据上传

        【实用代码分享】oss上传下载数据前,对数据进行压缩

        【实用代码分享】对pandas dataframe的某一列做小数点保留

        【实用代码分享】遇到大文件导致的git push失败怎么办?

        更多技术文章,可进入阿洲的个人主页围观哦,也可关注私聊,线上交流经验心得~

        1 Reply Last reply Reply Quote 0
        • First post
          Last post