新系统

微软研究人员推出了名为ZeRO的新系统，用于优化训练大型AI模型，以应对高数据传输开销和有限带宽的难题。ZeRO建立在现有的ZeRO优化的基础上，并提供增强的通信策略，以提高训练效率，减少训练时间和成本。