又一个!北京智源推出通用视觉分割模型SegGPT
在2023中关村论坛平行论坛之一的人工智能大模型发展论坛上,北京智源人工智能研究院推出通用分割模型 SegGPT(Segment Everything In Contex),这是一个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。
SegGPT 是智源通用视觉模型 Painter 的衍生模型,可针对分割一切物体的目标做出优化。
该模型具备上下文推理能力,训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸、医学图像等。
如下图所示,标注出一个画面中的彩虹,SegGPT可批量化分割其他画面中的彩虹。
它的灵活推理能力支持任意数量的视觉提示。自动视频分割和追踪能力以第一帧图像和对应的物体掩码作为上下文示例,SegGPT 能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的ID,实现自动追踪。
值得一提的是,此前Meta发布了其新的基于 AI 的 Segment Anything Model (SAM) ,该模型具有识别和分离图像和视频中的特定对象的功能。通过使用SAM,用户可以通过点击物体或输入文字提示选中编辑的物体。
威斯康辛麦迪逊、微软、港科大等机构的研究人员也提出SEEM模型,通过不同的视觉提示和语言提示,一键分割图像、视频。SEEM模型是一种新型的分割模型,这一模型可以在没有提示的开放集中执行任何分割任务,比如语义分割、实例分割和全景分割。
另外,南科大发布视频分割模型TAM,可轻松追踪视频中的任意物体并消除,操作简单友好。TAM的出现为解决传统视频分割模型需要人工标记培训数据和初始化参与数据的问题提供了之前提供,将改变CGI行业的游戏游戏规则。
SegGPT相关代码发布在 GitHub 上,论文发表在预印本平台 arXiv 上。论文地址:https://arxiv.org/abs/2304.03284
4090狂涨3倍:一张显卡背后的博弈与狂潮
美国“卡脖子”,中国玩家还能买到4090显卡吗?一夜之间,4090显卡的价格狂飙到了令人咋舌的地步。10月18日,有网友发现在多个购物渠道中,英伟达RTX4090系列显卡已下架,多家旗舰店在售的4090相关产品均呈缺货状态,“4090显卡全面下架”迅速登上了社交平台的热搜。站长网2023-10-20 09:16:140003Netflix发布一份AI相关的岗位名单 演员日薪低至200美元
据yahoonews报道,近期闹得沸沸扬扬的好莱坞罢工事件,似乎双方不会马上有解决的方案。看起来大公司们正准备进行一场持久战,这一点从Netflix最近发布的一份机器学习平台产品经理的招聘信息中就可以看出来。站长网2023-07-26 15:56:360000Anthropic预计年收入将达8.5亿美元,挑战OpenAI地位
**划重点:**1.📈AnthropicPBC计划于2024年底实现8.5亿美元年化收入,较三个月前的预测大幅增长。2.🤝Anthropic由Amazon和Google支持,旗下模型Claude2挑战ChatGPT,能处理高达10万令牌的复杂提示。3.💰公司正在进行额外的7.5亿美元融资轮,由MenloVentures主导,将使Anthropic的估值达到150亿美元。0000免费科研利器!Meta祭出Nougat,PDF格式转换,公式表格精准识别,扫描版文档也可以
做研究的童鞋们简直要狂喜!近来,MetaAI研究人员推出一款OCR神器Nougat,能够分分钟把PDF转换为MultiMarkdown。各种复杂数学公式、表格、文字、甚至是扫描版的PDF通通可以提取出来。真有这么神?不如上图说话。拿出一本很有年代感的书籍,每个公示都可以清晰地识别。即便文档凹凸不平,也不碍事,公示格式照样重现。还有PDF中的表格,也能原模原样搬过来。站长网2023-09-05 09:06:350000东风旗下猛士科技与华为达成战略合作 发展智能汽车产业生态
近日,东风旗下猛士科技与华为签署了战略合作协议。双方将共享产业资源,互补优势,建立长期战略合作伙伴关系,共同发展智能汽车产业生态,助力民族品牌向上。此次合作标志着东风猛士与华为的合作迈入新阶段。双方将合力推动华为智能汽车解决方案商业化落地,助力东风猛士品牌成为中国豪华电动越野文化领先者,推动中国汽车产业智能化高质量发展。站长网2024-02-22 10:04:540000