7B大模型屠榜HuggingFace

深度学习领域的新技术近日在HuggingFace的大模型排行榜中崭露头角，由UpstageAI提出的深度扩展方法（DUS）在SOLAR10.7B大模型上取得了令人瞩目的成绩。该技术通过创新性地拼接两个7B羊驼，并采用DUS方法删除中间层次，使得新模型不仅超越了传统扩展方法如MoE，还能与基础大模型相同的基础设施高效集成。