Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Instance-Based Learning of Span Representations:A Case Study through Named Entity Recognition

    语音识别与语义处理领域
    1
    1
    25
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 175****1239
      175****1239 last edited by

      在这里插入图片描述

      Abstract

      本文提出了一个基于实例学习来学习span之间的相似度

      Model

      将NER问题形式化为span分类问题,可以处理嵌套实体
      给定一个由T个单词的句子X=(w1,w2,…,wT)X= (w_1,w_2,…,w_T)X=(w1​,w2​,…,wT​),首先列举出可能的span S(X)\mathcal{S(X)}S(X),非实体span被分配为NULL标签
      在这里插入图片描述
      该模型的思想非常简单:将一个实体及其训练集的span映射到特征向量空间,然后计算相似度。
      本文定义邻域span的概率为:P(sj∣si,D)=exp(score(si,sj))∑sk∈S(D)exp(score(si,sk))P(s_j|s_i,\mathcal{D})=\frac{exp(score(s_i,s_j))} {\sum_{s_k\in \mathcal{S(D)}}exp(score(s_i,s_k))}P(sj​∣si​,D)=∑sk​∈S(D)​exp(score(si​,sk​))exp(score(si​,sj​))​
      score函数返回span si,sjs_i,s_jsi​,sj​的相似度,然后计算span sis_isi​被分配标签yiy_iyi​的概率:
      P(yi∣si)=∑sj∈S(D,yi)P(sj∣si,D)P(y_i|s_i)=\sum_{s_j\in \mathcal{S(D,y_i)}}P(s_j|s_i,\mathcal{D})P(yi​∣si​)=∑sj​∈S(D,yi​)​P(sj​∣si​,D)

      启示

      1. 模型的思想比较简单,但是让我想我想不出来,作者牛皮,代码牛皮。唯一不足就是时间复杂度太高了,要考虑全部的span概率。
      1 Reply Last reply Reply Quote 1
      • First post
        Last post