Huggingface 预训练模型权重下载的问题
-
Hugging face简介
Hugging face是一个专注于NLP的公司,拥有一个开源的预训练模型库
Transformers
,里面囊括了非常多的模型例如BERT
GPT
等模型库
官网的模型库的地址如下:https://huggingface.co/models
使用模型
首先需要安装
transformers
库,使用以下命令安装:pip install transformers
接下来在代码中调用
AutoTokenizer.from_pretrained
和AutoModel.from_pretrained
即可例如:from transformers import * model_name = 'hfl/chinese-xlnet-base' tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name)
运行后系统会自动下载相关的模型文件并存放在电脑中:
使用Windows模型保存的路径在
C:\Users[用户名]\.cache\torch\transformers\
目录下,根据模型的不同下载的东西也不相同使用Linux模型保存的路径在
~/.cache/torch/transformers/
目录下存在的问题
这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件,但是问题是有些机器是没有外网连接权限或者下载速度非常慢。
这时候就需要把模型文件下载后在导入代码中,还是以刚才的
hfl/chinese-xlnet-base
模型为例,直接在官网搜索模型,点击进入模型的详情界面在界面中找到
List all files in model
把弹窗内的文件全部下载下来
我们假设文件保存在
E:\models\hfl\chinese-xlnet-base\
目录下我们只需要把
model_name
修改为下载的文件夹即可from transformers import * model_name = 'E:/models/hfl/chinese-xlnet-base/' tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name)
这样问题就解决了,linux同理这里就不再赘述
-
大佬开始转载了