bert深入分析以及bert家族總結(待續太多了也)

• 2021 年 3 月 29 日
• AI

本文主要對bert以及各類bert based model做一個總結，在總結的過程中，對bert的各種細節（分詞算法、相對\絕對為止編碼、預訓練任務等）進行整理，主要是因為在研究bert家族的過程中發現bert的各種變體基本都是從這些細節層面入手進行的魔改。所以其實bertology的models理解起來並不是非常複雜。

首先從tokenize開始

馬東什麼：tokenizers(待續,太煩了)​zhuanlan.zhihu.com

可見上,暫時沒寫完..感覺還是要好好看看huggingface的官方設計文檔,網上說的太亂了也

總的來說:

wordpiece:bert,electra,distilbert

BPE:GPT，RoBERTa,XLMNET

Bytelevel BPE:GPT2

unigram:Unigram不能直接用於transformers中的任何模型，但可以與SentencePiece結合使用,模型包括了有:ALBERT，XLNet，Marian和T5