Named Entity Recognition as Dependency Parsing

[175****1239]

Abstract

本文应用依赖关系的思想，通过biaffine模型多句子中的开始token和结束token进行打分，将NER任务建模为一项识别开始和结束索引的任务，并为定义的spans分配类别。

Model

1. 使用单词嵌入和字符嵌入作为输入
   • 使用BERT获取上下文相关嵌入
   • 使用CNN得到基于字符的嵌入
2. 将其嵌入输入到BiLSTM中，获得单词表示：$x$
   • 应用两个单独的FFNN为spans的start/end创建不同的表示：$(h_s/h_e)$
   • $h_s(i)=FFN{N}_s(x_{s_i})$
   • $h_e(i)=FFN{N}_s(x_{e_i})$
   • $r_m(i)=h_s(i{)}^T{U}_m{h}_e(i)+W_m(h_s(i)\oplus h_e(i))+b_m$
3. 提供给biaffine分类器
   • 通过biaffine模型创建$l\times l\times c$的评分张量$r_m$

Result

启示

1. 模型很简单，得分却奇高，如果有torch的代码就果断出击了