Lookahead两项大模型技术

最近，蚂蚁开源了两项与大模型相关的新技术:ATorch和Lookahead。ATorch是一个大模型分布式训练加速扩展库，可实现深度学习自动资源动态优化和分布式训练稳定性提升，可提升深度学习的智能性，千亿模型千卡级别训练的算力利用率可达60%。Lookahead是一个推理加速框架，可以大幅提升大模型的推理效率，可将推理加速2-6倍。