分布式机器学习：模型平均MA与弹性平均EASGD（PySpark）
- 2022 年 6 月 30 日
- 笔记
计算机科学一大定律：许多看似过时的东西可能过一段时间又会以新的形式再次回归。 1 模型平均方法(MA) 1.1 算法描述 …
Continue Reading
分布式机器学习：同步并行SGD算法的实现与复杂度分析（PySpark）
- 2022 年 6 月 26 日
- 笔记
1 分布式机器学习概述 大规模机器学习训练常面临计算量大、训练数据大（单机存不下）、模型规模大的问题，对此分布式机器学习 …
Continue Reading
分布式机器学习：PageRank算法的并行化实现（PySpark）
- 2022 年 6 月 3 日
- 笔记
1. PageRank的两种串行迭代求解算法 我们在博客《数值分析：幂迭代和PageRank算法(Numpy实现)》算法 …
Continue Reading
分布式机器学习：逻辑回归的并行化实现（PySpark）
- 2022 年 5 月 27 日
- 笔记
1. 梯度计算式导出 我们在博客《统计学习：逻辑回归与交叉熵损失（Pytorch实现）》中提到，设\(w\)为权值(最后 …
Continue Reading联邦学习中的优化算法
- 2022 年 3 月 4 日
- 笔记
导引 联邦学习做为一种特殊的分布式机器学习，仍然面临着分布式机器学习中存在的问题，那就是设计分布式的优化算法。 以分布式 …
Continue Reading分布式机器学习、联邦学习、多智能体的区别和联系
- 2021 年 12 月 11 日
- 笔记
一、分布式机器学习、联邦学习、多智能体介绍 最近这三个方面的论文都读过，这里写一篇博客归纳一下，以方便搞这几个领域的其他 …
Continue Reading
分布式机器学习中的模型架构
- 2021 年 12 月 5 日
- 笔记
在上一篇博文《分布式机器学习中的模型聚合》(链接：//www.cnblogs.com/orion-orion/p/156 …
Continue Reading
分布式机器学习中的模型聚合
- 2021 年 12 月 2 日
- 笔记
论文1在联邦（分布式）学习的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同 …
Continue Reading分布式机器学习常用数据集
- 2021 年 11 月 28 日
- 笔记
今天开始跑分布式机器学习论文实验了，这里介绍一下论文的常用数据集（因为我的研究领域是分布式机器学习，所以下面列出的数据集 …
Continue Reading