Horovod简介

Horovod 是一个适配 TensorFlow, Keras, PyTorch 和 Apache MXNet 的深度学习分布式训练框架,目标是使得分布式深度学习更加快速、更加易用

官方: