SAGA:毫秒实现3D高斯交互分割,加速近1000倍
划重点:
SAGA(Segment Any3D GAussians)在3D场景理解和操作中取得了重要突破,能够在几毫秒内实现精细的三维分割,支持多种提示类型,包括点、涂鸦和掩码。
SAGA通过融合2D分割和3D高斯技术,以高效、快速的方式实现了3D场景的交互式分割。
SAGA能够实现多粒度分割,并在现有基准测试中展现出与最先进方法相媲美的性能,甚至在3D分割速度上实现了近1000倍的加速。
在当今数字化时代,视觉技术一直是科技创新的关键驱动力。为了解决现有方法在3D场景理解和操作中面临的挑战,来自上海交通大学人工智能研究所和华为公司的团队推出了一项引领性的科技突破。研究人员将2D的「分割一切」模型的细粒度分割能力提炼到3D高斯中,该方法命名为SAGA(Segment Any3D GAussians)。
SAGA可以在几毫秒内实现了精细的三维分割,并支持多种提示类型,包括点、涂鸦和掩码。SAGA的方法概览包括使用预训练的3DGS模型和SAM编码器提取2D特征图,然后通过高效的特征匹配检索预期的3D高斯。为了进一步增强特征紧凑性,研究者还从提取的掩码中导出点对应关系,并将其提炼为特征。在推理阶段,通过输入提示生成一组查询,再通过与学得的特征进行高效匹配,最终实现对应目标的3D高斯检索。
SAGA的论文已经在arXiv上发布,引起了科研界的广泛关注。在现有基准测试中,SAGA展现出与最先进方法相媲美的性能,甚至在3D分割速度上实现了近1000倍的加速。
SAGA(Segment Any3D Gaussians)具有以下特点:
1. **3D高效分割:** SAGA能够在几毫秒内对3D高斯中进行精细交互式分割,这对于3D场景的理解和操作具有重要意义。
2. **融合2D分割和3D高斯光斑技术:** 该方法将2D分割基础模型与最近引入的3D高斯光斑技术(3D Gaussian Splatting,3DGS)巧妙地结合起来。通过对比度训练,SAGA将由分割基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。
3. **克服挑战:** 针对现有方法在实现细粒度、多粒度分割或者面临大量计算开销,难以实时交互的挑战,SAGA提出了一种创新的解决方案。
4. **多粒度分割:** SAGA能够实现多粒度分割,并支持各种提示,包括点、涂鸦和2D掩模。
5. **快速实现:** SAGA在现有基准测试中表现出与最先进方法相媲美的性能。更重要的是,SAGA能够在几毫秒内完成3D分割,相比先前的最先进方法,加速近1000倍。
SAGA通过巧妙融合2D分割和3D高斯技术,以高效、快速的方式实现了3D场景的交互式分割,克服了以往方法的一些挑战。
项目网址:https://jumpat.github.io/SAGA/
论文地址:https://arxiv.org/abs/2312.00732
消息称AI初创公司Anthropic计划融资7.5亿美元
**划重点:**1.💰融资规模:Anthropic公司由前OpenAI员工于2021年创立,目前正与硅谷风险投资公司MenloVentures进行高级谈判,计划融资7.5亿美元,估值或达184亿美元,有望成为人工智能领域的重要参与者。0000微信办公构成加班须支付加班工资 法院:超出简单沟通范畴
近日,江苏省南京市玄武区人民法院审结了一起劳动争议案件。该案涉及某酒店一名高管被要求每周五、周六深夜在微信工作群中打卡汇报工作成果,法院最终认定为加班,并判决酒店向劳动者支付加班工资2.4万元。站长网2024-01-17 14:17:480000特斯拉中国召回超110万辆车 车顶维权女车主:不能服众
近日,特斯拉中国召回超110万辆一事,引起网友关注热议,特斯拉官方回应称,此次召回可降低踩错踏板发生碰撞事故的概率。而此前上海车展特斯拉车顶维权女车主,也发表了对此事的看法:首先,一次性召回缺陷汽车110万辆,基本覆盖了特斯拉在中国的所有销量,规模之大,非常少见。说明特斯拉车辆确实存在与刹车相关的批次性缺陷。站长网2023-05-14 09:17:200000蚂蚁集团完成整改后启动股份回购 对应估值约5671亿元
7月8日消息,据多家媒体报道,在相关整改落地后的第二天,蚂蚁集团宣布将启动股份回购。今日上午,蚂蚁集团宣布为补充员工激励池以持续吸引人才,同时为进一步满足股东对流动性的需求,将以自有资金回购现有股东的部分股份,回购比例不超过总股本的7.6%。相关事项已获得蚂蚁集团董事会批准,并提交股东大会审议。站长网2023-07-10 00:07:310000AI生成的图像获得摄影大奖 但摄影师拒绝领奖
德国艺术家鲍里斯·埃尔达格森(BorisEldagsen)在承认获奖图像是使用人工智能生成后,拒绝接受索尼世界摄影奖创意公开组的奖项。注:图为获奖的AI作品世界摄影组织表示,埃尔达格森在被宣布为获胜者之前已经确认在他的图像中使用了人工智能。该组织表示,它一直期待着就该主题进行讨论,并已准备好与Eldagsen进行问答的问题。站长网2023-04-18 16:06:170000