本周 Paper 推荐丨不连续命名实体识别的高效翻译模型、基于实体触发词表达学习的命名实体识别、混合时空图卷积网络

2020 年 7 月 17 日
AI

一种用于不连续命名实体识别的高效翻译模型

FLAT: 使用扁平化格子结构Transformer的中文命名实体识别模型

TriggerNER: 基于实体触发词表达学习的命名实体识别

混合时空图卷积网络：更精准的时空预测模型

利用深度缩放初始化和合并注意力改进多层次的Transformer

一种用于不连续命名实体识别的高效翻译模型

论文名称：An Effective Transition-based Model for Discontinuous NER

作者：Xiang Dai / Sarvnaz Karimi / Ben Hachey / Cecile Paris

发表时间：2020/4/28

论文链接：//arxiv.org/abs/2004.13454

推荐原因

核心内容：本文针对生物领域大量存在的不连续命名实体识别问题，设计了一种基于翻译方法的模型，在不牺牲连续实体识别率的条件下，大幅度提升了多个数据集上不连续实体的识别效果

创新点：将不连续的实体识别问题转换为stack-buffer模型下的action预测问题；基于注意力机制设计了模型中stack， buffer, token的表征方式(representation)

推荐理由：作者提出的这种新的命名实体识别思路非常巧妙，不仅可用于识别不连续实体，同时也可以用于识别重叠实体。

FLAT: 使用扁平化格子结构Transformer的中文命名实体识别模型

论文名称：FLAT: Chinese NER Using Flat-Lattice Transformer

作者： Xiaonan Li / Hang Yan / Xipeng Qiu / Xuanjing Huang

发表时间：2020/5/23

论文链接：//arxiv.org/abs/2004.11795?context=cs.CL

推荐原因

核心问题：本文从改进基于格子结构(lattice structure)的计算效率出发，提出了一种计算效率大幅优化transformer结构的模型，并且在多个NER任务上达到了更高的分数

创新点：定义了一种将词与字相融合的扁平化transformer结构；设计了一种高效的相对位置编码方法；

推荐理由：本文参考了transformer xl 提出的相对位置编码方式让相关联的词与字之间进行更多信息交互，从而使用transformer结构模型捕捉到了lattice结构模型中包含的句子深层次语义信息，并且利用前者在并行化优势计算方面的优势，大幅提高了计算效率。

TriggerNER: 基于实体触发词表达学习的命名实体识别

论文名称：TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition

作者：Bill Yuchen Lin / Dong-Ho Lee / Ming Shen / Ryan Moreno / Xiao Huang / Prashant Shiralkar / Xiang Ren

发表时间：2020/7/7

论文链接：//arxiv.org/abs/2004.07493v1

推荐原因

本文定义了一种命名实体识别的解决思路，利用句子中的标注好的触发词作为语义环境进行命名实体的标注，主要过程如下：1，从已标注的数据集中抽取20%进行触发词人工标注；2 第一阶段结合触发词标注以及命名实体标注训练触发词的语义表达；3 第二阶段将触发词向量与句子本身的向量进行结合，再使用序列标注的方法进行实体标注；4 预测阶段，将句子输入第一阶段的网络，得到相关性最高的一些触发词，以此为基础，继续执行第二阶段的标注工作

本文采用与base model一致的SELF ATTENTION + BLSTM + CRF的序列标注网络结构，仅使用了20%的数据集，达到了base model使用所有数据集的效果，相较于传统方法而言，作者将上下文语义信息加入实体标注的思路是很直观的，对于更高阶的NLP任务也具有一些参考意义

其中人工标注是一件很困难的事，但是作者开源了本次实验收集的触发词信息以及相关代码。

混合时空图卷积网络：更精准的时空预测模型

论文名称：Video Playback Rate Perception for Self-supervisedSpatio-Temporal Representation Learning

作者：Yao Yuan /Liu Chang /Luo Dezhao /Zhou Yu /Ye Qixiang

发表时间：2020/6/20

论文链接：//arxiv.org/abs/2006.11476

推荐原因

本文发表于CVPR 2020。自监督表征学习无需人工标注数据，因其特征较好的泛化性能受到学者们的广泛关注。类似于空域中多分辨率特性，时域中同样也具有多分辨率特征，而在自监督时空表征学习中，针对时间分辨率和长/短期特性的研究工作较少，很大程度上限制了学习模型的表征能力。本文提出了一种对感知和生成感知两部分进行判别的自监督学习方法，从而促进了网络对前景运动更全面的理解和对视频表征更完善的学习过程。实验证明，对于不同的目标任务，在不同的数据集上使用不同的网络主干均验证我们方法的有效性。

利用深度缩放初始化和合并注意力改进多层次的Transformer

论文名称：Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention

作者：Zhang Biao /Titov Ivan /Sennrich Rico

发表时间：2019/8/29

论文链接：//arxiv.org/abs/1908.11365