Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Named Entity Recognition as Dependency Parsing

    语音识别与语义处理领域
    1
    1
    4
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 175****1239
      MachineSun last edited by

      在这里插入图片描述

      Abstract

      本文应用依赖关系的思想,通过biaffine模型多句子中的开始token和结束token进行打分,将NER任务建模为一项识别开始和结束索引的任务,并为定义的spans分配类别。

      Model

      在这里插入图片描述

      1. 使用单词嵌入和字符嵌入作为输入
        • 使用BERT获取上下文相关嵌入
        • 使用CNN得到基于字符的嵌入
      2. 将其嵌入输入到BiLSTM中,获得单词表示:xxx
        • 应用两个单独的FFNN为spans的start/end创建不同的表示:(hs/he)(h_s/h_e)(hs​/he​)
        • hs(i)=FFNNs(xsi)h_s(i)=FFNN_s(x_{s_i})hs​(i)=FFNNs​(xsi​​)
        • he(i)=FFNNs(xei)h_e(i)=FFNN_s(x_{e_i})he​(i)=FFNNs​(xei​​)
        • rm(i)=hs(i)TUmhe(i)+Wm(hs(i)⊕he(i))+bmr_m(i)=h_s(i)^TU_mh_e(i)+W_m(h_s(i)\oplus h_e(i))+b_mrm​(i)=hs​(i)TUm​he​(i)+Wm​(hs​(i)⊕he​(i))+bm​
      3. 提供给biaffine分类器
        • 通过biaffine模型创建l×l×cl\times l \times cl×l×c的评分张量rmr_mrm​

      Result

      在这里插入图片描述

      启示

      1. 模型很简单,得分却奇高,如果有torch的代码就果断出击了
      1 Reply Last reply Reply Quote 1
      • First post
        Last post