OpenDiT

要点:OpenDiT是一个针对DiT训练和推断的高性能实现，通过Colossal-AI提供支持，能够提升训练和推断的效率。OpenDiT采用了多种技术提升性能，包括优化内核、混合并行方法以及FastSeq等，能够显著提高GPU计算速度和降低内存占用。