新型多模态表示学习方法FACTORCL
要点:
FACTORCL是一种新的多模态表示学习方法,旨在解决对比学习在低共享或高独特信息情境中无法收集任务相关信息的问题。
该方法通过因子化任务相关信息为共享和独特信息,并通过最大化互信息下界获取任务相关信息,最小化互信息上界提取任务不相关信息,实现了对任务相关信息的优化学习。
FACTORCL采用多模态增强来评估任务相关信息,使得在自监督情景中实现了任务相关性的建立,无需显式标记。
最近,研究人员推出了一种名为FACTORCL的新型多模态表示学习方法,以解决对比学习在复杂多模态背景下的局限性。现有的多模态预训练技术主要基于多视图学习,利用多视图冗余的关键前提,即通过模态间的信息交换几乎完全与随后的任务相关。
项目地址:https://github.com/pliang279/FactorCL
对比学习在真实世界中更广泛的多模态背景下存在的两个关键限制:
1. 在许多任务中存在较少的任务相关信息,使得传统多模态对比学习难以获得所需的任务相关信息。
2. 多个模态可能提供不同的任务相关信息,传统对比学习会忽略这些独特的信息,导致性能下降。为了克服这些限制,研究人员引入了FACTORCL方法,通过明确因子化共享和独特的表示,以获得适当和必要的信息内容。
该方法通过最大化互信息下界和最小化互信息上界,独立优化共享和独特信息,从而实现了对任务相关信息的最优表示。另外,FACTORCL利用多模态增强在自监督场景中估计任务相关信息,无需显式标记,提高了学习效果。在实验证明,FACTORCL在多个数据集上实现了新的最先进性能。
FACTORCL方法的基本原理,包括明确因子化共享和独特的表示,以及通过最大化互信息下界和最小化互信息上界来优化共享和独特信息的学习。
研究人员使用FACTORCL在合成数据集和真实世界多模态基准测试中进行的实验证明,包括情感、情绪、幽默、讽刺等方面的预测,以及在六个数据集上达到的最先进性能。
抖音官方下场做AI直播切片 第三方团队或加速淘汰!
“小杨哥直播全程高能,哈登为带货速度惊掉下巴……”“网友问毛毛姐和刘思瑶的关系,阿姨的回答让人大跌眼镜”“罗永浩向董宇辉发出邀请,只要加盟价格不是问题”在抖音中很多网友应该都刷到过类似内容切片,这些短视频通常会把头部主播直播的精彩片段浓缩在30秒内,并挂上推荐的商品链接进行带货。从模式上看,切片带货是一举三得的买卖。头部主播扩大了影响力,商家拓宽了分发渠道,账号运营者赚到了更多钱。站长网2024-01-29 18:07:310000阅文集团发布2023网络文学十大关键词:AI金手指等上榜
阅文集团与澎湃新闻联合发布了《2023网络文学十大关键词》,种田、考研、无CP、坐忘道、全员上桌、智商在线、非遗、AI金手指、短剧、霸总全球化等热词榜上有名。这些关键词展现了2023年网络文学发展的重要变化和趋势特点。首先是考研和种田。考研作为一个热门话题,促使了一批与考研相关的网络文学作品的创作。而种田则成为了年轻人减压的一种方式,种田网文、种田综艺和种田剧成为了年轻人追捧的对象。站长网2023-12-27 10:44:480000淘系首次参战,电商玩家齐聚微信里“挖呀挖”
微信生态已经成为电商平台的重要战场。Tech星球独家获悉,天猫赶在618活动前,在微信内上线了一个名为“天猫优品”的小程序,根据该小程序的资料显示,是于今年5月从“喵我”更名为“天猫优品”,这是淘系首次以“天猫”命名,出现在微信内的电商零售类小程序。目前,“天猫优品”主要销售电器商品,并且还支持微信支付。站长网2023-06-15 19:51:420000抖音内测视频带货新功能
抖音正在悄悄地内测的一个新功能值得看看。如果仅是简单推测,或会令内容带货这件事变得更容易,也会让内容创作者有了新的收入方式,以及,这个功能也或变成短视频平台的基础功能。这项测试的功能是:在抖音中点开一条视频,点按暂停,就会出现视频中产品的超链接标签,链接的直接就是商品页面,一键即可跳转。如下图所示:该功能在不影响抖音用户体验的情况下,暂停视频就能识别画面里的物品同款,直接给到用户商品链接。0000阿里云通义千问2.0正式升级发布 参数规模达千亿
在2023年的云栖大会上,阿里云首席技术官周靖人宣布了阿里大模型家族的全面升级发布,通义千问2.0正式升级发布。据介绍,通义千问2.0模型的参数规模达到了千亿级别,无论是在阅读理解、逻辑思维还是数据处理等方面,都实现了大幅度提升,达到了国际先进水平。同时,通义千问App也随着发布,用户可以下载该应用程序进行体验,支持语音对话等功能。站长网2023-10-31 14:38:480002