A Walk-based Model on Entity Graphs for Relation Extraction

Background

论文动机

（1）作者发现一句话中针对实体提及可能会包含不止一个关系（多标签）
（2）已有关系会对目标实体对之间的关系产生影响，即可由关系推导出关系；不同关系之间往往会存在一定的联系，即目标实体对的关系会收到同一句话其他关系的影响；

  • image.png

论文贡献

（1） 在不利用任何外部语法工具的情况下表现 SOTA；
（2）模型可以同时（simultaneously）生成句中每一实体对的表示（ a representation for each pair in the sentence）;
（3）提出了一种迭代算法来生成实体（距离为）之间唯一的表示；

Model

image.png

基于实图的神经关系提取模型，该模型以图的方式来表达一句话中多个实体间的多种关系，其中实体被表示为图中的节点，试图间的关系则构成图的定向边，模型使用一个实体以其上下文初始化实体间的边，这样任意两个实体之间就会形成多个边连接组成的、长度不一的多跳路径。模型通过迭代的方式，将两个实体之间的多条路径逐渐聚合为一条路径，该路径对应于实体关系的最终表示。

  • Embedding Layer

    生成维度为 n_w, n_t, n_p的vectors，分别对应于words, 实体的语义类型，目标实体对的相对位置；

  • Bidirectional LSTM Layer

    Each sentence的词嵌入经过BILSTM得到新的词嵌入 h ,对于每一个word，将BILSTM的两条方向的输出进行concat得到的新表示维度为n_e；

  • Edge Representation Layer

    BILSTM的输出包含两个部分：

    （i）目标实体对的表示

    ​ 实体若由 I 个单词组成，则求该平均值作为实体的BILSTM 向量；
    image.png
    （ii）目标实体对的上下文表示
    image.png
    Attention 模块计算：
    image.png
    Representation of an edge: W_s 降维作用
    image.png

  • Walk Aggregation Layer

    The goal of the layer: 面向==实体间存在有限多路径==的情况生成一个唯一的表示；

    one-length walk <=> v_{ij}^{(1)}

    • Walk Generation

      A directed entity graph :
      image.png

    • Walk Aggregation
      image.png
      合并 初始路径 (length 1-to-\lambda; direct edge) 与 额外路径（extended walks, length two-to-2\lambda; indirect edge）

  • Classification Layer
    image.png

结论：

在多实体对句中，walks的方法远超SPTree；更短的walk路径对最终的表示更有效；过长的walk（​）对于最终的边表示是没有意义的（no-meaningful）

  • Longer walks improve performance, but —More entities do not necessarily need longer walks
  • Walks can improve the detection of related pairs（召回率指标）
  • Relations between NE pairs are encoded with walks
    A:应该是多个 walk Aggregation，代表的是建模关系之间的联系 encoded
  • Too long relation walks (≥ 6-length) are hard to interpret, even by humans
Tags:

VirMach 便宜 VPS

QNews

QNews