NLP|论文笔记|Document-Level Relation Extraction with Reconstruction

论文来源：AAAI 2021
面向任务：DocRE
方法分类：Graph-based
论文动机：

通常情况下，基于构建图所学习得到的graph representation往往会建模所有实体对之间的关系信息，而不管这些实体对之间是否真的存在关系，这就导致了那些本不存在关系的实体对减弱/分散（disperse）模型在有关系存在的实体对上的注意力；基于此，作者提出针对图的结构进行“重构”，从而让有关系的entity pair 连接更强，没关系的更弱，对路径进行重构。

对图结构进行调整，这点和LSR的出发点有点相像？
指标分数：F1 score: 55.23, 59.45（w/o BERT, w/ BERT）
快看速评：

当实体间存在关系，那么图结构中相应的实体节点之间就存在强大的路径依赖(strong path dependency)，反之，没有关系实体节点之间仅仅只有weak path denpendency。为了贯彻这一“强者愈强，弱者愈弱”的思想，基于上述假设，作者定义了三种类型的meta path来加强有关系实体对之间的路径，本质上不是重建了边，而是增强了inference path。
代码复现：//github.com/xwjim/DocRE-Rec

Graph Construction:

与EoG类似建图方式类似，还是三种不同类型的节点，Mention node, Entity node, Sentence node；边的类型有 MM edge, MS edge, ME edge, SS edge, ES edge；

另外，本文额外增添一种类型的边，Mention-Coreference edge以连接同一实体的不同mention。
Graph Encoder:

Dense connected GAT。经由密集连接的GAT得到entity的representation：

\mathbf{z}_{n}^{l}=\mathbf{W}_{e}^{l} \cdot\left[\mathbf{v}_{n}: \mathbf{s}_{n}^{1}: \mathbf{s}_{n}^{2}: \cdots: \mathbf{s}_{n}^{l-1}\right]

其中，[ \mathbf{s}_{n}^{1}: \mathbf{s}_{n}^{2}: \cdots: \mathbf{s}_{n}^{l-1}] 为所有先前hop reasoning 操作的输出；在每一步推理过程中(hop reasoning)，根据每一种类型的edge，capture当前节点与周围节点之间的特征信息(self-attention)：

\mathbf{s}_{n}^{l}=\operatorname{softmax}\left(\frac{\mathbf{z}_{n}^{l} \mathbf{K}^{\top}}{\sqrt{d_{0}}}\right) \mathbf{V}
Classifier:

L 次 hop reasoning 后 (相当于有L层密集连接层，好好想想~)，得到序列[ \mathbf{s}_{n}^{1}: \mathbf{s}_{n}^{2}: \cdots: \mathbf{s}_{n}^{L}]，最后每一节点再经过一层非线性变换得到异构图表示：\left\{\mathbf{q}_{1}, \mathbf{q}_{2}, \cdots, \mathbf{q}_{N}\right\}

问题一：我们需要增强哪条路径？

人为定义三种类型的meta path: Pattern Recognition, Logical Reasoning, Coreference Reasoning;

所有的实体对间至少存在一种上述的meta path，三种 meta path 优先级：meta-path1 > meta-path2 > meta-path3。（如果一个entity pair里有多条符合meta path的路径，按照上述优先级保留一条即可）

问题二：怎么增强此类型路径？

对于一条路径，把它看做是一系列节点的序列，最大化这条路径出现的概率。利用LSTM建模，输入已选择路径中每个节点表示q(GAT输出表示)，输出LSTM隐藏状态p,softmax计算节点出现的条件概率，连乘之得此路径分数。(b_{C}：number of nodes)

问题三：增强此路径出现的概率会带给模型什么?

针对每一实体对，都会有一条实例路径被视为路径重构的监督路径(supervision path)