Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    【2】 transformers简介

    技术交流
    1
    1
    56
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 188****7632
      188****7632 last edited by

      像情感分析,实际的流程是这样

      对于Tokenizer,做的工作是这样

      对于tokenizer,由3种方式,分别是word-based,character-based,subword tokenization
      第一个是这样的

      第二个是这样的

      最后一个是这样的

      像那些预训练模型,用的tokenizer如下:

      然后涉及到关于tokenizer中encoding和decoding的部分
      encoding涉及到两个函数

      decoding涉及到一个函数

      参考:
      https://huggingface.co/course/chapter2/1?fw=pt

      1 Reply Last reply Reply Quote 3
      • First post
        Last post