登陆注册

丢掉注意力的扩散模型

  • 丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

    替代注意力机制,SSM真的大有可为?为了用更少的算力让扩散模型生成高分辨率图像,注意力机制可以不要,这是康奈尔大学和苹果的一项最新研究所给出的结论。众所周知,注意力机制是Transformer架构的核心组件,对于高质量的文本、图像生成都至关重要。但它的缺陷也很明显,即计算复杂度会随着序列长度的增加呈现二次方增长。这在长文本、高分辨率的图像处理中都是一个令人头疼的问题。
    站长网站长资讯2023-12-11 19:14:44
    0000