Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    【实用代码分享】模块化oss数据上传

    技术分享📚有奖励
    1
    1
    81
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 173****7719
      173****7719 last edited by

      前言

      极致薅羊毛的重点是什么?就是尽量保证实例开机后的每一分钟都用在了训练上,当然实际上不可能做到这么极致,一个大的方向就是把【训练】和【训练结果分析】拆解开,尽量做到训练在实例,分析在本地。这其中关键的一步就是在关机前将训练结果或者是训练好的模型上传到oss。

      实现效果

      # 想要实现的是每次获得实验结果后,只需要用运行一下这个bash文件就好
      ./oss.sh
      

      构建oss.sh文件

      #!/bin/bash
      # 1:可以用 cd 到实验结果存放的文件夹,或者直接把这个oss文件放在文件夹中,这里的举例是后面的这种情况。
      # 2:登录 oss
      oss login
      # 3:压缩数据
      loc="oss://results/" # loc: oss中需要存放的位置
      f_n="XXX.zip" # f_n 压缩后的文件名
      
      f1="XX/" # f1: 需要压缩的文件夹或单个文件
      f2="" # 备用,如需压缩多个文件夹或多个文件
      
      zip -r ${f_n} ${f1}
      
      # 4: 上传到 oss
      oss cp ${f_n} ${loc}
      
      # 5: 删除压缩文件
      rm ${f_n}
      
      # 6: 关机
      shutdown
      

      注意

      这里需要注意的是自己尝试的时候,建议先把最后一句shutdown注释掉,以免前面某些步骤出错后反复关机。

      1 Reply Last reply Reply Quote 1
      • Referenced by  Alice_恒源云 Alice_恒源云 
      • First post
        Last post