性能优于Transformer

要点:斯坦福CMU联合团队提出的Mamba是一种新的序列模型，击败了Transformer在语言、音频和DNA序列任务上的性能，具有线性复杂度和更高的推理吞吐量。Mamba的创新之处在于选择性处理输入信息、硬件感知的状态扩展和简化的SSM架构，使得模型能够在固定状态大小下压缩上下文并自适应调整行为。