Named Entity Recognition as Dependency Parsing
-
Abstract
本文应用依赖关系的思想,通过biaffine模型多句子中的开始token和结束token进行打分,将NER任务建模为一项识别开始和结束索引的任务,并为定义的spans分配类别。
Model
- 使用单词嵌入和字符嵌入作为输入
- 使用BERT获取上下文相关嵌入
- 使用CNN得到基于字符的嵌入
- 将其嵌入输入到BiLSTM中,获得单词表示:xxx
- 应用两个单独的FFNN为spans的start/end创建不同的表示:(hs/he)(h_s/h_e)(hs/he)
- hs(i)=FFNNs(xsi)h_s(i)=FFNN_s(x_{s_i})hs(i)=FFNNs(xsi)
- he(i)=FFNNs(xei)h_e(i)=FFNN_s(x_{e_i})he(i)=FFNNs(xei)
- rm(i)=hs(i)TUmhe(i)+Wm(hs(i)⊕he(i))+bmr_m(i)=h_s(i)^TU_mh_e(i)+W_m(h_s(i)\oplus h_e(i))+b_mrm(i)=hs(i)TUmhe(i)+Wm(hs(i)⊕he(i))+bm
- 提供给biaffine分类器
- 通过biaffine模型创建l×l×cl\times l \times cl×l×c的评分张量rmr_mrm
Result
启示
- 模型很简单,得分却奇高,如果有torch的代码就果断出击了
- 使用单词嵌入和字符嵌入作为输入