無所不能的Embedding7 – 探索通用文本表達[FastSent/InferSent/GenSen/USE]
- 2021 年 2 月 24 日
- 筆記
在4/5章我們討論過用skip-thought，quick-thought任務來進行通用文本向量提取，當時就有一個疑問為 …
Continue Reading
無所不能的Embedding6 – 跨入Transformer時代～模型詳解&代碼實現
- 2021 年 2 月 8 日
- 筆記
上一章我們聊了聊quick-thought通過幹掉decoder加快訓練, CNN—LSTM用CNN作為Encoder並 …
Continue Reading
無所不能的Embedding5 – skip-thought的兄弟們[Trim/CNN-LSTM/quick-thought]
- 2020 年 12 月 7 日
- 筆記
這一章我們來聊聊skip-thought的三兄弟，它們在解決skip-thought遺留問題上做出了不同的嘗試【Ref1 …
Continue Reading
無所不能的Embedding4 – Doc2vec第二彈[skip-thought & tf-Seq2Seq源碼解析]
- 2020 年 11 月 20 日
- 筆記
前一章Doc2Vec里提到，其實Doc2Vec只是通過加入Doc_id捕捉了文本的主題信息，並沒有真正考慮語序以及上下文 …
Continue Reading
無所不能的embedding 3. word2vec->Doc2vec[PV-DM/PV-DBOW]
- 2020 年 10 月 6 日
- 筆記
這一節我們來聊聊不定長的文本向量，這裡我們暫不考慮有監督模型，也就是任務相關的句子表徵，只看通用文本向量，根據文本長短有 …
Continue Reading