【2 数据下载+模型训练】哪个男孩不想拥有自己的预训练模型(留下贫穷的眼泪)

183****0229

由于openwebtext文件太大，故本教程提供本人处理好的数据集。

1、环境选择

pytorch 1.8.1
python 3.8
cuda 11.1

2、准备openwebtext数据集

# 切换路径
cd /hy-tmp
# 登录oss
oss login
# 从公共数据集路径下载处理好的openwebtext.tar.gz压缩包
oss cp -public oss://junyu-dataset/openwebtext.tar.gz /hy-tmp
# 在当前目录解压文件
tar -zxvf openwebtext.tar.gz

3、下载electra预训练代码并安装依赖环境

# 切换路径
cd /hy-tmp
# 代码已经上传到github
git clone https://github.com/JunnYu/hy_tutorial.git 
# 如果下载失败请使用镜像地址git clone https://hub.fastgit.org/JunnYu/hy_tutorial.git
# 切换路径
cd hy_tutorial
# 解压缩文件
unzip electra_small_pretrain_pytorch.zip
# 切换路径
cd electra_small_pretrain_pytorch
# 安装所需的python依赖包
pip install -r requirements.txt

4、注册wandb账号

（1）打开 https://wandb.ai/site

（2）点击头像下的Settings，寻找api key

下拉到api keys，如果没有就New key。复制该api key

（3）登录

# 登录wandb
wandb login
# 复制进去api key

5、后台运行预训练程序

# 切换路径，确保在这个路径
cd /hy-tmp/hy_tutorial/electra_small_pretrain_pytorch
# 后台运行程序
nohup python pretrain.py >> electra_small_pretrain.log 2>&1 &
# 查看训练日志
tail -f electra_small_pretrain.log

6、终止预训练程序

# 查看进程
ps -aux
# 终止进程
kill 2983

7、等待程序运行完毕（差不多需要55h）

# 同步训练损失等数据到wandb
wandb sync wandb/latest-run

Reference

https://github.com/richarddwang/electra_pytorch

Alice_恒源云

关于本篇RTX 3090训练结果的展示，大家可以移步至lz的另一篇帖子：

【1 结果展示】哪个男孩不想拥有自己的预训练模型(留下贫穷的眼泪)

另外，平台已经收到lz精心准备的训练视频了，这两天会上线，感兴趣的用户，记得关注本帖的更新动态哈～