用于UI和信息图解读的视觉语言模型

划重点:⭐️GoogleAI团队提出了ScreenAI，这是一个视觉语言模型，可以全面理解UI和信息图。⭐️ScreenAI在多个任务上表现出色，包括图形问答（QA），元素注释，摘要生成等。⭐️该团队发布了三个新数据集，为未来研究提供更多资源。