腾讯优图

浙大、腾讯优图、华中科技大学的团队，提出轻量化MobileMamba!既良好地平衡了效率与效果，推理速度远超现有基于Mamba的模型。一直以来，轻量化模型研究的主阵地都在CNN和Transformer的设计。但CNN的局部有效感受野在高分辨率输入时，难以获得长距离依赖;尽管Transformer有着全局建模能力，但是其平方级计算复杂度，限制了其在高分辨率下的轻量化应用。