• 2022 年 10 月 8 日
• 笔记

这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和 …

• 2022 年 9 月 15 日
• 笔记

paper: Don’t stop Pretraining: Adapt Language Models t …

• 2022 年 8 月 18 日
• 笔记

借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NL …

• 2022 年 7 月 28 日
• 笔记

一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个 …

• 2022 年 5 月 13 日
• 笔记

Albert是A Lite Bert的缩写，确实Albert通过词向量矩阵分解，以及transformer block的 …

• 2022 年 3 月 22 日
• 笔记

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少 …

• 2022 年 3 月 15 日
• 笔记

Bert通过双向LM处理语言理解问题，GPT则通过单向LM解决生成问题，那如果既想拥有BERT的双向理解能力，又想做生成 …

• 2022 年 3 月 8 日
• 笔记

模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一 …

• 2021 年 7 月 13 日
• 笔记

摘要：为了更深入理解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦。谢博士以非常通俗的方式为 …