无所不能的Embedding7 – 探索通用文本表达[FastSent/InferSent/GenSen/USE]
- 2021 年 2 月 24 日
- 笔记
在4/5章我们讨论过用skip-thought，quick-thought任务来进行通用文本向量提取，当时就有一个疑问为 …
Continue Reading
无所不能的Embedding6 – 跨入Transformer时代～模型详解&代码实现
- 2021 年 2 月 8 日
- 笔记
上一章我们聊了聊quick-thought通过干掉decoder加快训练, CNN—LSTM用CNN作为Encoder并 …
Continue Reading
无所不能的Embedding5 – skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]
- 2020 年 12 月 7 日
- 笔记
这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1 …
Continue Reading
无所不能的Embedding4 – Doc2vec第二弹[skip-thought & tf-Seq2Seq源码解析]
- 2020 年 11 月 20 日
- 笔记
前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文 …
Continue Reading
无所不能的embedding 3. word2vec->Doc2vec[PV-DM/PV-DBOW]
- 2020 年 10 月 6 日
- 笔记
这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有 …
Continue Reading