AntGPT:一个视频中长期行为预测大型语言模型
站长网2023-08-07 10:38:220阅
AntGPT 是一个将大型语言模型应用于视频长期行为预测(LTA)的视觉语言框架。研究人员通过使用监督动作识别算法识别人类活动,并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习,GPT 模型可以预测未来的行动序列,从而实现从底向上的行动预测。
项目地址:https://brown-palm.github.io/AntGPT/
论文地址:https://arxiv.org/abs/2307.16368
他们还利用目标信息来提供以目标为条件的预测,并研究了 AntGPT 在上下文推理和少样本学习方面的能力。
定量和定性评估表明,LLMs 可以从视频观察的离散化动作标签中推断出演员的高级目标,并且在 EPIC-Kitchens-55、EGTEA GAZE 和 Ego4D LTA v1和 v2基准测试中取得了最先进的长期行动预测性能。该研究提出了使用大型语言模型进行长期行动预测的方法,并通过 AntGPT 框架将 LLMs 与计算机视觉算法相结合,取得了显著的成果。
核心功能:
1)预测目标:AntGPT 利用大型语言模型推断演员的目标,即使只有少量观察到的人类行为。
2)目标条件预测:AntGPT 通过将目标信息嵌入视觉框架,实现了基于目标的行为预测。
3)建模动作时序:AntGPT通过将大型语言模型调整到特定领域的行动序列上,直接建模动作的时间动态。
4)少样本预测:AntGPT 探索了大型语言模型在少样本情况下的预测能力,并尝试了不同的提示策略。
0000
评论列表
共(0)条相关推荐
NEC 宣布为日本市场提供生成式 AI 服务:可根据客户需求定制化
日本电气,又称日电或NEC,是一家总部位于东京都港区的跨国信息技术公司,英文全称为「NipponElectricCompany,Limited」,1983年改为简称NEC。作为住友集团的成员,NEC专注于为商业企业和通信服务提供信息技术和网络产品。日本NEC公司社长森田隆之在今年六月表示,正在探讨独自开发能自动制作精巧文章及图像的生成式人工智能(AI),以新服务的形式提供给用户。站长网2023-07-08 17:01:020001苹果正努力为下一代iPhone搭载更加强大的本地人工智能技术
据英国《金融时报》报道,苹果正努力为下一代iPhone搭载更加强大的本地人工智能技术。该公司最近收购了一家提供基于AI的视频压缩技术的初创公司WaveOne。同时,摩根士丹利的报告显示,苹果近一半的AI招聘岗位都提到了“深度学习”这一关键词。深度学习是生成式AI的核心算法之一。0000Open AI推出DALL・E3图像生成模型:理解能力提升 图片细节更丰富
今日凌晨,OpenAI宣布推出DALL・E3图像生成模型,它的前身是DALL・E2。相比于之前的版本,DALL・E3在理解细微差别和细节方面有了显著提升,能够更准确地将想法转化为图像。如果用户对生成的图像不满意,还可以与ChatGPT对话进行修改。与Dall-E2一样,使用Dall-E3创建的图像属于用户自己,无需许可即可重新印刷、销售或商品化。站长网2023-09-21 09:04:500002彻底放弃做手机后,诺基亚真的好猛
谁能想到,踩着三月的尾巴,还有一家厂商突然袭击,发布了新品。它,就是诺基亚。没错,那个尘封在各位记忆深处诺基亚,又一次杀回来了。不过这次它发布的新品,却有那么亿丢丢不一样...NokiaPure这次久违的诺基亚新品,倒不是啥旗舰手机。你们先别急着索然无味。它这次带来的,是更加高大上的东东——「设计系统」前阵子的MWC大会上,诺基亚高调宣布,自己做了一个「违背祖宗」的决定:站长网2023-04-14 17:01:200000人工智能大战:亚马逊 AWS 重磅投入生成式 AI 向微软和谷歌发起挑战
站长之家(ChinaZ.com)12月2日消息:亚马逊的AWSre:Invent开发者大会本周拉开帷幕,一系列重磅公告显示出亚马逊正在努力迎头赶上AI领域的佼佼者和主要竞争对手微软。作为亚马逊至关重要的亚马逊网络服务(AWS)业务的年度展示窗口,今年的会议重点放在了生成式AI上,力图抗衡微软和谷歌在市场上的早期主导地位。0000