【转载】分布式训练和集合通信

文章目录

• 1 集合通信(Collective communication)
• • 1.1 Broadcast&Scatter
  • 1.2 Reduce
  • 1.3 All reduce
  • 1.4 Gather
• 2 集合通信库
• 3 各通信库&All reduce
• • 3.1 OpenMPI
  • 3.2 NCCL Allreduce