A general framework for information extraction using dynamic span graphs

[175****1239]

Abstract

本文介绍了一个通用的框架，使用动态构造的span图共享span表示的几个信息抽取任务。图是通过最有信心的实体span并将这些结点与置信度加权的关系类型和共同引用相连接来构造的。

1.Instruction

RE设计在成对的span之间分配关系类型。共指解析涉及同一实体的组跨越到一个群集中。作者任务，一个任务任务中学习到的知识可能会对另一个任务有裨益。
本文设计一个通用的框架，通过共享span表示来耦合多个信息抽取任务，这些共享span表示是利用来自关系和共指关系的上下文信息进行提炼的。
figure 1展示了一个示例，说明了实体、关系和共引用上下文的潜在好处。

但从句内上下文是不可能预测到This thing和它的实体标签。然而，前面的car强烈表明这两个实体具有VEH类型。同样，Tom位于Starbucks，而Mike与Tom有亲戚关系事实也支持Mike位于Starbucks的事实。
DYGIE使用多任务学习通过使用动态构建的span图的共享span来识别实体、关系和共同引用。图中的节点是从一系列高度可信的提及中动态选择的，并根据关系类型和共指关系的置信度得分对边进行加权。

2. Model

2.1 Problem Definition

输入：单词序列D的文档，从该序列推导出$S=s_1,\dots ,s_T$，文档中所有可能的句子内单词序列span的集合。
输出：所有span的实体类型E，同一句子内所有span对$S\times S$的关系R，以及S中所有span跨句子的共指链接C。
本文首先考虑两个主要任务：1. 实体识别是预测每个span $s_i$的最佳实体类型标签$e_i$的任务。2. 关系提取涉及为所有span对$(s_i,s_j)$预测最佳关系类型$r_{i,j}$.
此外，本文还训练了第三个辅助任务：共指关系解析，从而提供额外的监督。对于这项任务，本文预测每个span $s_i$的最佳先行语$C_i$。

2.1 DYGIE++ 架构

GYGIE首先枚举每个句子中的所有文本span，并计算每个span的局部上下文向量空间表示。然后，该模型使用动态范围图将全局信息合并到其span表示中。

在每个训练步骤中，该模型识别最可能表示实体的文本span，并将这些span视为图结构中的节点。根据预测的共指关系和图中其他节点的关系连接，为每个节点构造置信度加权的弧线。然后，使用来自相邻关系类型和共指实体传播的门控更新的的更广泛的上下文来精炼span表示。
Token Representations Layer 使用BiLSTM进行编码。
Span Representation Layer 对于每个span $s_i$，其初始化向量表示$g_i^0$是通过将$s_i$左右端的的BiLSTM的输出。
Coreference Propagation Layer 传播过程中从span表示形式$g_i^0$开始。在每次迭代中，首先为每个span i 计算一个更新向量$u_c^t$。然后，使用$u_c^t$更新当前的表示$g_i^t$，从而生成下一个span表示$g_i^{t+1}$。最终的span表示为：$g_i^N$。这些span很可能是共指图中的先行语。
Relation Propagation Layer 来自指代传播层的输出$g_i^N$作为输入传递到关系传播层。与共指层采用类似的更新方式。
Final Prediction Layer 使用关系图层的输出$g_i^{N+M}$来预测实体标签E和关系标签R。对于实体，将$g_i^{N+M}$通过前向反馈神经网络（FFNN）来生成span $s_i$的每类分数$P_E(i)$。对于关系，将$g_i^{N+M}$和$g_j^{N+M}$的级联传递给FFNN，生成span $s_i,s_j$之间的每类关系得分$P_R(i,j)$。

2.2 Dynamic Graph Construction and Span Refinement

Coreference Propagation


其中$B_C$是作为$s_i$的前件的K span的集合。$B_V^t(i,j)$是通过连接span表示$[g_i^t,g_j^t,g_i^t\odot g_j^t]$
Relation Propagation

Updating Span Representations with Gating

2.3 training

3. Experiments

4. 启示

1. 文章写的很好，尤其是instruction，跟上一篇文章一样，有必要去复现一下。
2. 再次感叹2019年真的是关系抽取领域蓬勃发展的一年。