n-gram mask 简单介绍

• 2021 年 4 月 6 日
• AI

ngram mask的资料比较少，这里简单补充一下。

1 ERNIE中使用到了

ERNIE是对短语进行了mask，本质上属于n-gram mask的一种，n-gram mask也可以不是短语而是随机的一个n-gram的子序列（形式上和span bert的mask策略类似，但是产生mask的过程是不一样的）

2 CMLM

Cross-lingual masked language model.

随机的mask掉n-gram的字符