登陆注册
19024

谷歌AI推出ScreenAI:用于UI和信息图解读的视觉语言模型

站长网2024-02-21 10:08:538

划重点:

⭐️ Google AI 团队提出了 ScreenAI,这是一个视觉语言模型,可以全面理解 UI 和信息图。

⭐️ ScreenAI 在多个任务上表现出色,包括图形问答(QA),元素注释,摘要生成等。

⭐️ 该团队发布了三个新数据集,为未来研究提供更多资源。

Google AI 最近提出了 ScreenAI,这是一个视觉语言模型,旨在全面理解用户界面(UI)和信息图。UI 和信息图在现代数字世界中共享设计概念和视觉语言,但由于每个领域的复杂性,创建一个统一的模型变得更加困难。为了解决这个问题,Google AI 团队提出了 ScreenAI 作为解决方案。

ScreenAI 具有处理图形问答(QA)等任务的能力,这些任务可能涉及图表、图片、地图等元素。该模型结合了来自 Pix2struct 的灵活 patching 方法和 PaLI 架构,使其能够将视觉相关任务转化为文本或图像到文本问题。

团队进行了多项测试,展示了这些设计决策如何影响模型的功能。经评估,ScreenAI 在诸如 Multipage DocVQA、WebSRC、MoTIF 和 Widget Captioning 等任务上取得了新的最先进结果,参数数量不到50亿。在诸如 DocVQA、信息图 QA 和图表 QA 等任务上表现出色,优于同等规模模型。

团队发布了三个新数据集:Screen Annotation、ScreenQA Short 和 Complex ScreenQA。其中一个数据集专注于未来研究的屏幕注释任务,另外两个数据集则专注于问答,进一步扩展了可用资源,以推动该领域的发展。

ScreenAI 是朝着综合解决信息图和用户界面理解问题的一步。通过利用这些组件的共同视觉语言和复杂设计,ScreenAI 为理解数字内容提供了全面的方法。

论文地址:https://arxiv.org/abs/2402.04615

0008
评论列表
共(0)条