北邮、南洋理工推沙雕视频数据集FunQA 用算法学习喜剧
要点:
1.FunQA是一个包含4365个反直觉视频和312万个文本问答的新数据集。
2.FunQA包含3个子集:幽默视频HumorQA、创意视频CreativeQA和魔术视频MagicQA。
3.FunQA设计了时间戳定位、详细描述、反直觉推理等任务,对模型的理解力提出深入挑战。
来自北京邮电大学、新加坡南洋理工大学及艾伦人工智能研究所的学者们提出了FunQA,一个全新的高质量视频问答数据集,用于测试和提高AI模型对反直觉视频内容的理解能力。
论文地址:https://arxiv.org/abs/2306.14899
FunQA包含总时长近24小时、来自3种反直觉艺术类型的4365个短视频,以及312万条人工注释的视频问答对。它由3个子集组成:幽默视频集HumorQA、创意视频集CreativeQA和魔术视频集MagicQA。这些具有反直觉特点的视频可以对模型的理解力产生深入的挑战。
项目地址:https://funqa-benchmark.github.io/
与现有视频QA数据集相比,FunQA有以下特点:
1. 专注反直觉领域,测试模型对非常规事件的理解力。
2. annotation丰富,每个问答平均34词,远超其他数据集。
3. 创新探索幽默感理解,需要模型学习幽默原理。
4. 强调深度时空推理,如通过常识判断幽默反差。
5. 设计了时间戳定位、详细描述、反直觉推理等任务考察模型的视觉编码、语义表达和逻辑推理能力。
FunQA的具体组成如下:
1. HumorQA:来自脱口秀和模仿秀的1335个幽默视频。
2. CreativeQA:来自创意短视频平台的1465个反常识创意视频。
3. MagicQA:来自网络平台的1565个难以理解的魔术视频。
针对每个子集,FunQA设计了3个核心任务:
1. 反直觉时间戳定位:找到视频中关键反直觉事件的时间点。
2. 详细视频描述:用语句描述视频内容。
3. 反直觉推理:解释视频中反直觉的原因。
此外还有视频标题生成等扩展任务。
在多个模型上进行测试表明,当前模型在FunQA任务上的表现普遍不佳,关键原因包括:
1. 难以准确理解长视频内容和上下文信息。
2. 缺乏推理“常识”,无法理解违反直觉的内容。
3. 不同类型视频的理解能力差异很大。
4. 评估指标不足,难以测量深度理解。
研究者因此提出,后续工作可以从提升模型大小、改进数据质量、优化训练策略等方面入手,以提高模型在FunQA任务上的表现。总体而言,FunQA提供了一个全新且富有挑战的视频理解基准,可以推动计算机视觉研究的发展。
AI视野:Win11正式成为“AI操作系统”;美图上线“AI字画”功能;OpenAI估值再涨3倍;Pika Labs视频支持嵌入文字和图像
🤖📱💼AI应用Win11正式成为“AI操作系统”,Copilot助手加持微软发布Windows11大更新,新增CopilotAI助手、AI增强画图工具等功能。如果您想立即获得今天的重大Windows11更新,可以进入「设置」>「Windows更新」,并打开「获取最新更新,一经推出立即获取」的选项。AiBase提要:站长网2023-09-27 15:06:400000OpenAI暂停ChatGPT Plus用户注册 因超出服务器承受范围
今天上午,OpenAI的CEOSamAltman在社交平台上宣布,由于近期ChatGPT的使用量激增,超出公司的承受能力,因此他们决定暂停新的ChatGPTPlus账号注册,以确保每位用户都能有良好的使用体验。对此,Altman公开致歉,称新功能的使用情况远远超出预期,并且由于服务器负载的原因,出现了服务不稳定的情况。站长网2023-11-15 20:57:070000TCP/IP 基础知识
我把自己以往的文章汇总成为了Github,欢迎各位大佬starhttps://github.com/crisxuan/bestJavaer已提交此篇文章要说我们接触计算机网络最多的协议,那势必离不开TCP/IP协议了,TCP/IP协议同时也是互联网中最为著名的协议,下面我们就来一起聊一下TCP/IP协议。站长网2023-05-25 02:52:030000亚马逊推出AI助手Amazon Q 企业可提问公司数据
亚马逊云计算业务AWS最近推出了一款名为AmazonQ的聊天工具,企业可以在其中就公司数据提出问题。AWS首席执行官亚当·塞利普斯基在AWSre:Invent大会的主题演讲上宣布了这一消息。站长网2023-11-29 11:04:2200002023斯坦福大学AI指数报告:印度在AI技能渗透率方面全球领先
🔍划重点:-斯坦福大学AI指数报告2023指出,印度在AI技能渗透率方面位居全球前列。-全球AI技能渗透率最高的三个国家或地区分别是印度(3.2)、美国(2.2)和德国(1.7)。-前印度国家规划委员会强调,必须确保这一人才储备能够获得可靠的数据和计算能力,以建立印度作为AI研究中心。站长网2023-10-30 14:02:500001