A Walk-based Model on Entity Graphs for Relation Extraction

Background

論文動機

（1）作者發現一句話中針對實體提及可能會包含不止一個關係（多標籤）
（2）已有關係會對目標實體對之間的關係產生影響，即可由關係推導出關係；不同關係之間往往會存在一定的聯繫，即目標實體對的關係會收到同一句話其他關係的影響；

  • image.png

論文貢獻

（1） 在不利用任何外部語法工具的情況下表現 SOTA；
（2）模型可以同時（simultaneously）生成句中每一實體對的表示（ a representation for each pair in the sentence）;
（3）提出了一種迭代演算法來生成實體（距離為）之間唯一的表示；

Model

image.png

基於實圖的神經關係提取模型，該模型以圖的方式來表達一句話中多個實體間的多種關係，其中實體被表示為圖中的節點，試圖間的關係則構成圖的定向邊，模型使用一個實體以其上下文初始化實體間的邊，這樣任意兩個實體之間就會形成多個邊連接組成的、長度不一的多跳路徑。模型通過迭代的方式，將兩個實體之間的多條路徑逐漸聚合為一條路徑，該路徑對應於實體關係的最終表示。

  • Embedding Layer

    生成維度為 n_w, n_t, n_p的vectors，分別對應於words, 實體的語義類型，目標實體對的相對位置；

  • Bidirectional LSTM Layer

    Each sentence的詞嵌入經過BILSTM得到新的詞嵌入 h ,對於每一個word，將BILSTM的兩條方向的輸出進行concat得到的新表示維度為n_e；

  • Edge Representation Layer

    BILSTM的輸出包含兩個部分：

    （i）目標實體對的表示

    ​ 實體若由 I 個單片語成，則求該平均值作為實體的BILSTM 向量；
    image.png
    （ii）目標實體對的上下文表示
    image.png
    Attention 模組計算：
    image.png
    Representation of an edge: W_s 降維作用
    image.png

  • Walk Aggregation Layer

    The goal of the layer: 面向==實體間存在有限多路徑==的情況生成一個唯一的表示；

    one-length walk <=> v_{ij}^{(1)}

    • Walk Generation

      A directed entity graph :
      image.png

    • Walk Aggregation
      image.png
      合併 初始路徑 (length 1-to-\lambda; direct edge) 與 額外路徑（extended walks, length two-to-2\lambda; indirect edge）

  • Classification Layer
    image.png

結論：

在多實體對句中，walks的方法遠超SPTree；更短的walk路徑對最終的表示更有效；過長的walk（​）對於最終的邊表示是沒有意義的（no-meaningful）

  • Longer walks improve performance, but —More entities do not necessarily need longer walks
  • Walks can improve the detection of related pairs（召回率指標）
  • Relations between NE pairs are encoded with walks
    A:應該是多個 walk Aggregation，代表的是建模關係之間的聯繫 encoded
  • Too long relation walks (≥ 6-length) are hard to interpret, even by humans
Tags:

VirMach 便宜 VPS

QNews

QNews