分割一切

对于2023年的计算机视觉领域来说，「分割一切」（SegmentAnythingModel）是备受关注的一项研究进展。Meta四月份发布的「分割一切模型（SAM）」效果，它能很好地自动分割图像中的所有内容

要点:PyTorch团队通过对Meta的「分割一切」（SAM）模型进行重写，使其在原始实现的基础上提速8倍，同时保持准确率。优化方法包括采用PyTorch原生特性如Torch.compile、GPU量化、SDPA等，以及使用半精度（bfloat16）、自定义Triton内核、NestedTensor、量化、半结构化稀疏性等操作。

最近，中国科学院的一个团队发布了FastSAM模型的开源版本。通过将任务细分为全实例分割和提示指导选择两个子任务，这个模型能够以惊人的速度实现与原始SAM相近的效果，而且还可以实时推理达到每秒25帧。这个成果在Github上已经获得了2.4K次星标，也在Twitter、PaperswithCode等平台上引起了广泛关注。