• 2022 年 2 月 8 日
• 筆記

源码解析 模型并行分布式训练 Megatron (3) —模型并行实现 目录 源码解析 模型并行分布 …

• 2022 年 2 月 7 日
• 筆記

源码解析 模型并行分布式训练Megatron (2) — 整体架构 目录 源码解析 模型并行分布式训 …

• 2022 年 1 月 27 日
• 筆記

源码解析 模型并行分布式训练Megatron (1) — 论文 & 基础 目录 源码解析 模 …

• 2022 年 1 月 26 日
• 筆記

源码分析 Facebook如何训练超大模型— (5) 目录 源码分析 Facebook如何训练超大模 …

• 2022 年 1 月 24 日
• 筆記

源码分析 Facebook如何训练超大模型 — (4) 目录 源码分析 Facebook如何训练超大 …

• 2022 年 1 月 21 日
• 筆記

源码分析 Facebook如何训练超大模型 — (3) 目录 源码分析 Facebook如何训练超大 …

• 2022 年 1 月 19 日
• 筆記

源码分析 Facebook如何训练超大模型 — (2) 目录 源码分析 Facebook如何训练超大 …

• 2022 年 1 月 17 日
• 筆記

源码分析 Facebook如何训练超大模型—(1) 目录 源码分析 Facebook如何训练超大模型 …

• 2022 年 1 月 13 日
• 筆記

论文翻译 分布式训练 Parameter sharding 之 Google Weight Sharding 目录 …

• 2022 年 1 月 11 日
• 筆記

论文翻译 分布式训练 Parameter sharding 之 ZeRO 目录 论文翻译 分布式训练 Param …