新型多模态表示学习方法FACTORCL

要点:FACTORCL是一种新的多模态表示学习方法，旨在解决对比学习在低共享或高独特信息情境中无法收集任务相关信息的问题。该方法通过因子化任务相关信息为共享和独特信息，并通过最大化互信息下界获取任务相关信息，最小化互信息上界提取任务不相关信息，实现了对任务相关信息的优化学习。FACTORCL采用多模态增强来评估任务相关信息，使得在自监督情景中实现了任务相关性的建立，无需显式标记。