谷歌发布可读屏AI模型ScreenAI:可理解用户界面和信息图表
**划重点:**
1. 🌐 **ScreenAI引领AI界新趋势:** 谷歌研究推出ScreenAI,该AI模型能理解用户界面和信息图表,刷新各项任务的性能指标,包括根据信息图表回答问题、总结内容以及导航用户界面。
2. 🧠 **技术创新:** ScreenAI采用新颖的截图文本表示方法,通过识别UI元素的类型和位置,利用Google LLM PaLM2-S生成合成训练数据,使模型能够回答关于屏幕信息、屏幕导航和总结屏幕内容的问题。
3. 🚀 **未来展望与挑战:** 尽管ScreenAI在改善对数字内容理解方面取得了一定进展,但模型尚不能执行生成的操作。研究人员表示,尽管该专用模型在其类别中表现最佳,但在与更大型模型(如GPT-4和Gemini)的某些任务上仍需进一步研究,以推动其实际应用的发展。
谷歌研究最新发布的ScreenAI标志着语言和语音控制计算机界面的又一重要进展。这一AI模型不仅能理解用户界面和信息图表,而且在回答基于信息图表的问题、总结内容以及导航用户界面等多项任务上,创下了新的性能标杆。
ScreenAI的核心创新在于对截图的文本表示方法。该模型能够识别UI元素的类型和位置,这一方法使用了Google LLM PaLM2-S生成的合成训练数据,使其能够回答关于屏幕信息、屏幕导航和总结屏幕内容的问题。
为实现这一创新,ScreenAI将谷歌先前的技术进展,如PaLI架构和Pix2Struct的灵活修补机制,相结合。后者根据宽高比将图形分割为可变网格。ScreenAI通过图像编码器和多模态编码器处理图像和文本输入,然后使用自回归解码器生成文本输出。
研究人员进行的实验证明,模型性能随着模型大小的增加而提高。这表明通过扩大模型规模,可以进一步提升性能。与类似规模的模型相比,ScreenAI在各项基准测试中表现最佳,通常超过更大型模型。此外,使用光学字符识别(OCR)从截图中提取文本内容对模型性能有轻微积极影响。
然而,尽管ScreenAI在数字内容理解方面取得了一定里程碑,但模型尚不能执行生成的操作。研究人员指出,尽管目前有一些在智能手机上运行的语言模型,但缺乏更强大的多模态模型,这些模型可以结合文本、图像、音频和视频。他们预测,随着像ScreenAI这样的模型的发展,仅使用自然语言对智能手机和用户界面进行自动化处理将在不久的将来变得更加先进。
研究人员强调,虽然他们的专用模型在其类别中是最佳的,但在某些任务上仍需要进一步研究,以缩小与更大型模型(如GPT-4和Gemini)的差距。为鼓励更多的发展,谷歌研究计划发布ScreenAI的评估数据集,其中ScreenQA已经提供了包含36,000张截图的86,000个问答对;更复杂的变体和包含截图及其文本描述的集合将会推出。
京东物流将在双11推出电商仓服务 提供24小时发货揽收等功能
京东物流将在京东11.11购物节期间推出电商仓服务,帮助商家提升多平台履约效率。京东物流电商仓的物流服务包括24小时发货揽收、36小时内配送时长控制、及时推单建议等。商家可以在发货时效、配送时长和推单及时率等方面得到京东物流的支持,确保履约时效最佳。站长网2023-10-13 08:31:540000特斯拉Model S Plaid碳陶瓷刹车套件上架 售价10.9494万元
特斯拉官网最新消息,ModelSPlaid的碳陶瓷刹车套件现已正式上架销售,售价为10.9494万元。这款新的刹车套件被视为提升ModelSPlaid性能的重要配件。特斯拉官方表示,选装该刹车套件后,ModelSPlaid车型将能实现更出色的性能表现。站长网2023-11-20 11:49:180000AI文档阅读神器司马阅 通过聊天方式帮你精准获取关键信息
司马阅是一款基于AI技术的智能文档助手,可以上传PDF、Word等多种格式文档,通过语音或文字与文档进行交互,快速定位关键信息。比如可以帮你:1、分析一份合同的风险保护倾向2、总结一个行业报告的发展趋势3、判断一份专业简历的技能水平4、提炼一个产品手册的关键卖点5、概括一份研究论文的核心要点站长网2023-09-08 14:51:260000蔚来李斌:5月15日正式发布第二品牌乐道
蔚来汽车今日在安徽合肥新桥智能电动汽车产业园区内的第二工厂迎来了一个值得纪念的时刻——第50万台量产车成功下线。这款具有里程碑意义的车型是蔚来全新ES8,它的诞生标志着蔚来在高端纯电市场持续领跑的实力。站长网2024-05-09 16:41:290000电视家宣布暂停服务 官方公布快速退款指引
近日,知名电视直播软件“电视家”突然宣布暂停服务,并承诺为已开通会员的用户进行退款。在公告中,“电视家”强调会妥善处理所有退款需求,并承诺“绝对不会跑路”。为了方便用户进行退款,“电视家”在官方微博“电视家助手”上发布了快速退款指引,用户可以通过微信官方公众号“电视团团”点击“申请退款”进行操作。由于人工客服需要进行一对一的核实操作,所以用户需要耐心等待退款。站长网2023-11-21 17:18:440000