ReWOO:新方法使增强语言模型更高效
站长网2023-06-07 20:02:431阅
目前,增强语言模型最突出的例子是带有 Internet 浏览器或插件的ChatGPT 。得益于这些工具,ChatGPT 可以检索当前信息或可靠地解决计算任务。
ReWOO框架旨在提高此类增强模型的效率。在逻辑推理的多级基准 HotpotQA 测试中,它的准确率提高了4%,令牌消耗减少了5倍。
ReWOO 通过将语言模型的推理与对工具的访问分离来实现这一点。因此,提示中的标记只需传递给该工具一次,而不是多次。
目前,语言模型通过调用工具、传递请求、等待响应、接受响应,然后继续生成响应来访问工具。模型运行、停止、运行、停止等。这需要时间和处理能力,并且需要多次向工具发送提示令牌。
ReWOO 通过使用允许语言模型预测推理并定义响应中需要工具的位置的规划模块,使该过程更加高效。然后,该模型会生成包含所有问题和完整文本的所有子任务,即使来自工具的信息尚不可用。
粗略地说,这可以比作一个填空文本,然后一步一步用工具中的信息填充。这组作者说,大型预训练语言模型对工具响应的“形状”有足够的了解,可以进行这种预测。
因为语言模型将对工具的查询存储为子任务,并且只询问一次,然后直接询问所有问题,所以生成过程不必多次停止和重新启动。
这种工具任务的“批量”处理节省了计算能力,使增强的 LLM 更加高效。通过这种基于规划的高效工具使用,小型模型可以产生更高质量的结果。
0001
评论列表
共(0)条相关推荐
彻底放弃做手机后,诺基亚真的好猛
谁能想到,踩着三月的尾巴,还有一家厂商突然袭击,发布了新品。它,就是诺基亚。没错,那个尘封在各位记忆深处诺基亚,又一次杀回来了。不过这次它发布的新品,却有那么亿丢丢不一样...NokiaPure这次久违的诺基亚新品,倒不是啥旗舰手机。你们先别急着索然无味。它这次带来的,是更加高大上的东东——「设计系统」前阵子的MWC大会上,诺基亚高调宣布,自己做了一个「违背祖宗」的决定:站长网2023-04-14 17:01:200000扎克伯格:Threads或成Meta的下一个拥有10亿用户的社交网络
据国外媒体报道,扎克伯格在投资者会议上表示他相信Threads有潜力成为Meta下一个拥有10亿用户的社交网络。据悉,Threads达到1亿注册量的速度比历史上任何消费软件产品都要快,但它距离达到10亿用户俱乐部还差得很远。尽管扎克伯格上周表示,每天仍有“数千万”人使用该应用程序,但自最初的注册热潮以来,其参与度估计也已显着放缓。站长网2023-07-27 10:35:310000元象大模型向全社会开放 多个高性能大模型全部开源并免费商用
元象信息科技有限公司(元象XVERSE)宣布,元象大模型将向全社会开放服务。元象大模型是元象从头训练、全链路自主研发的高性能通用大模型系列,具备优秀的中文创作、逻辑推理和任务执行能力。站长网2023-11-13 21:44:490000集成 OpenAI 的 Humane AI Pin 所有细节泄露:售价 699 美元,每月订阅费 24 美元
站长之家(ChinaZ.com)11月9日消息:今年大部分时间,Humane一直在宣传其首款设备AIPin。该公司计划于当地时间周四推出Pin,但TheVerge已经获取了有关该设备的详细文件,在其正式发布之前就已经泄露出几乎所有信息。图片来自Humane站长网2023-11-09 08:53:310000搭载自研芯片!谷歌Pixel 8外观曝光:摄像头更大了
据网络消息,谷歌Pixel8的包装盒实拍图已经在网上流传。从外观来看,虽然Pixel8的相机排列和Pixel7相同,均为双摄横向排列,但比Pixel7大了一圈,预计将会配备感光面积更大的相机传感器。此外,闪光灯位于相机模块的右侧,看样子配备的是单色温闪光灯。0000