Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Huggingface 预训练模型权重下载的问题

    语音识别与语义处理领域
    2
    2
    285
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 155****7220
      155****7220 last edited by

      文章转自Hugging face预训练模型

      Hugging face简介

      Hugging face是一个专注于NLP的公司,拥有一个开源的预训练模型库Transformers ,里面囊括了非常多的模型例如 BERT GPT 等

      模型库

      官网的模型库的地址如下:https://huggingface.co/models

      使用模型

      首先需要安装transformers库,使用以下命令安装:

      pip install transformers
      

      接下来在代码中调用AutoTokenizer.from_pretrained和AutoModel.from_pretrained即可例如:

      from transformers import *
      model_name = 'hfl/chinese-xlnet-base'
      tokenizer = AutoTokenizer.from_pretrained(model_name)
      model = AutoModel.from_pretrained(model_name)
      

      运行后系统会自动下载相关的模型文件并存放在电脑中:

      使用Windows模型保存的路径在C:\Users[用户名]\.cache\torch\transformers\目录下,根据模型的不同下载的东西也不相同

      使用Linux模型保存的路径在~/.cache/torch/transformers/目录下

      存在的问题

      这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件,但是问题是有些机器是没有外网连接权限或者下载速度非常慢。

      这时候就需要把模型文件下载后在导入代码中,还是以刚才的 hfl/chinese-xlnet-base模型为例,直接在官网搜索模型,点击进入模型的详情界面

      在界面中找到List all files in model

      把弹窗内的文件全部下载下来

      我们假设文件保存在E:\models\hfl\chinese-xlnet-base\目录下

      我们只需要把model_name修改为下载的文件夹即可

      from transformers import *
      model_name = 'E:/models/hfl/chinese-xlnet-base/'
      tokenizer = AutoTokenizer.from_pretrained(model_name)
      model = AutoModel.from_pretrained(model_name)
      

      这样问题就解决了,linux同理这里就不再赘述

      1 Reply Last reply Reply Quote 1
      • Alice_恒源云
        Alice_恒源云 last edited by

        大佬开始转载了🙌

        1 Reply Last reply Reply Quote 0
        • First post
          Last post