n-gram mask 簡單介紹

• 2021 年 4 月 6 日
• AI

ngram mask的資料比較少，這裡簡單補充一下。

1 ERNIE中使用到了

ERNIE是對短語進行了mask，本質上屬於n-gram mask的一種，n-gram mask也可以不是短語而是隨機的一個n-gram的子序列（形式上和span bert的mask策略類似，但是產生mask的過程是不一樣的）

2 CMLM

Cross-lingual masked language model.

隨機的mask掉n-gram的字元