Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Span-Level Model for Relation Extraction

    语音识别与语义处理领域
    1
    1
    43
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 175****1239
      175****1239 last edited by

      在这里插入图片描述

      Abstract

      顺序解码器无法对重叠的实体提及建模,并且存在级联错误。为了解决这个问题,本文提出了一个直接对所有可能的span建模,并执行联合实体提及检测和关系提取模型。

      1.Instruction

      本文提出了一个简单的基于bi-lstm的模型,为每个可能的span生成span表示。然后将相同的span表示用于对所有检测到的实体提及对执行关系抽取。

      2. Model

      2.1 Span Representation Generation

      给定具有T个token的文档D,可能存在的span为:N=T(T+1)/2N=T(T+1)/2N=T(T+1)/2,span i由START<i>,END <i>表示span的开始和结尾,目标是为了获取每个span的span表示gig_igi​。

      2.1.1 Raw Token Embeddings

      对上下文嵌入使用固定的ELMo,对词嵌入、字符嵌入、从头开始训练,使用固定的Senna。考虑到相对较小的数据集,为了防止过拟合,作者只训练了字符嵌入。
      对原始token xtx_txt​使用BiLSTM获得xt∗x_t^*xt∗​:
      在这里插入图片描述

      2.1.2 Span Representation

      使用注意力来创建特定任务的span表示,每个span的特征向量为:
      在这里插入图片描述
      对于每个span i,其span 表示gig_igi​表示为:
      在这里插入图片描述

      2.2 Entity Mention Detection

      主要的功能是预测每个span的实体类型。通过计算实体类型得分的向量来预测实体类型。
      在这里插入图片描述

      2.3 Relation Extraction

      本文仅考虑有序的二元关系(每一对有序的选择span),使两个span来同一个句子。对于每一对span,首先计算一个嵌入ri,jr_{i,j}ri,j​的有序对:
      在这里插入图片描述
      使用嵌入ri,jr_{i,j}ri,j​的有序对来计算关系类型得分的向量。

      MLPreMLP_{re}MLPre​的输出大小以及pi,jrep_{i,j}^{re}pi,jre​的大小等于RE类的数量。

      2.4 Loss

      在这里插入图片描述

      3. Experiments

      在这里插入图片描述

      4. 启示

      1. span提取的方法非常经典,有必要复现一下这篇论文的代码。
      2. 老生常谈的问题:计算每一对span的关系,所需要的时间复杂度比较大
      1 Reply Last reply Reply Quote 1
      • First post
        Last post