新视角! 研究发现:大语言模型通过阅读文档学会使用工具
站长网2023-08-07 11:38:390阅
本文概要:
1. 研究发现,语言模型通过阅读文档成功学会使用工具,甚至能够发明新的方法。
2. 使用文档训练的模型在零样本性能上与仅使用演示训练的模型相当甚至更好。
3. 通过阅读文档,语言模型可以学习复杂的图像处理和视频跟踪功能。
根据一篇新的研究论文,语言模型可以通过阅读工具和API文档来学习使用工具,并在某些情况下甚至发明新的方法。与传统的通过演示训练的方法相比,仅使用文档的模型在零样本性能上表现相当或更好。
该团队使用文档和演示对六种不同任务的多个模型进行了训练,并比较了它们的性能。仅使用文档,零样本性能等于或优于仅从演示中学习的模型。然后,在扩展到包含200个工具的数据集后,第一个模型的性能显着优于第二个模型。
在图像处理领域,该模型能够通过学习新的、最先进的图像处理模块的文档来执行复杂的图像处理和视频跟踪功能,而无需进一步演示。该团队特别强调,该模型能够重现最近发布的图像处理技术,例如 Grounded-SAM 和 Track Anything 的视频跟踪,展示了该方法在自动知识发现方面的潜力。
论文指出:“总的来说,我们通过关注LLM的内部规划和文档推理能力,而不是通过演示明确指导他们的行为,揭示了LLM使用工具的新视角。”
这项研究揭示了阅读文档对于语言模型学习工具使用的重要性,以及文档对于扩展和自动知识发现的潜力。
0000
评论列表
共(0)条相关推荐
OpenAI再度融资百亿美元:估值已达2000亿元
据TechCrunch报道ChatGPT背后的初创公司OpenAI完成103亿美元融资,估值达到270亿-290亿美元(约合人民币1900亿-2000亿元)。站长网2023-05-12 20:40:340000Adobe 为 Premiere Pro 加入 AI 驱动的基于文本的视频编辑功能
在4月15日至4月19日举行的2023年NAB展会之前,Adobe宣布对其部分CreativeCloud应用进行更新,包括PremierePro和AfterEffects。Adobe表示,新的PremierePro是迄今为止「最快和最可靠的版本」,具有后台自动保存、系统重置选项、额外的GPU加速等更多功能。站长网2023-04-14 10:34:090001跟风买平替,我踩坑了
“买平替”,正在成为一些年轻人的生活方式。看到某件非常喜欢的东西,很多人的第一反应不是下单拿下,而是掏出手机拍图,然后打开拼多多、1688等平台找同厂同款,或者直接搜“XX平替”。原价好几百甚至上千的商品,价格瞬间降至不到百元。0000雷军:小米13 ultra将配备全新一代传感器、全焦段大光圈
今日,小米创始人雷军预热称,小米13ultra,将带来全新徕卡Summicron镜头、全新一代感光元件,全焦段大光圈,从超广角到中长焦、再到超长焦全面覆盖。此外,小米13ultra还将配备全新一代传感器、以及全焦段大光圈。据悉,小米13Ultra将在4月18日晚7点正式发布。站长网2023-04-13 09:53:580000Midjourney聘请前苹果Vision Pro工程师担任硬件负责人,将打造“Orb”
**划重点:**1.🚀Midjourney聘请了前苹果VisionPro工程师AhmadAbbas担任硬件负责人,引发关注。2.🌈项目“Orb”是Midjourney在硬件领域的新尝试,目前专注于3D数据捕捉。3.🎮Holz表示,“Orb”可能用于生成AI产生的3D世界和实时生成的视频游戏,展望未来还提到了搭载AI处理器的实时生成游戏的游戏主机。站长网2024-02-06 10:13:480000