NLP的巨人肩膀

  • 2019 年 10 月 6 日
  • 筆記

這篇文章看過幾遍了,總結的極好!分享一下

總結來看,BERT 的出現既踩在了一眾前輩們的「巨人肩膀」上,通過精心設計和一些訓練技巧造出了一個龐大模型,最後又捨得花錢砸下巨大資源,給眾人上演了一場炫目無比的煙花秀。與其說 BERT 帶來了一次翻天覆地的革新,不如說 BERT 團隊糅合能力超群,以及還有一點也非常重要:有錢。

NLP的巨人肩膀(上):從語言模型到Word2Vec

NLP 的巨人肩膀(下):從 CoVe 到 BERT

語言使我們成為人類