DeepSpeed简介
DeepSpeed 简介
DeepSpeed 是微软推出的大规模模型分布式训练的工具,主要实现了 ZeRO 并行训练算法。 DeepSpeed 是一个开源深度学习训练优化库,其中包含的一个新的显存优化技术 —— ZeRO (零冗余优化器), 通过扩大规模,提升速度,控制成本,提升可用性,极大地推进了大模型训练能力
官方:
DeepSpeed 是微软推出的大规模模型分布式训练的工具,主要实现了 ZeRO 并行训练算法。 DeepSpeed 是一个开源深度学习训练优化库,其中包含的一个新的显存优化技术 —— ZeRO (零冗余优化器), 通过扩大规模,提升速度,控制成本,提升可用性,极大地推进了大模型训练能力
官方: