苏黎世联邦理工学院推出 LMQL:一种用于语言模型交互的编程语言
据国外媒体报道,近日来自瑞士的研究人员提出了语言模型编程(LMP)这一前沿概念。通过将语言模型提示的范围扩展到简单的文本提示之外,LMP 提供了两种方法的自然混合。
此外,LMP 允许您限制语言模型生成的结果。这允许语言模型的高度抽象,使其能够轻松适应各种活动。研究人员实施 LMQL(语言模型查询语言)以支持 LMP。LMQL 使用来自 LMP 提示的约束和控制流来生成有效的推理技术,从而减少对底层语言模型的昂贵调用的数量。它们展示了 LMQL 可以轻松捕获各种最先进的提示机制,尤其是那些促进交互式流程的流程,而这些流程很难用现有的高级 API 来实现。
检查表明,它们保持或提高了各种下游活动的准确性,同时大大减少了计算时间或财务支出(在付费使用 API 的情况下)。
由于其声明性性质,LMQL 仅指定任务所需的结果,并将逻辑控制流的细节留给另一种语言。它借鉴了 SQL 的思想,但构建在 Python 之上。用户可以向模型提供文本和可编程问题。
该报告确定了该语言语法的五个主要组成部分。解码器的工作是找出文本生成算法背后的秘密。它是一些将数据转化为有用的东西的代码,比如更高质量、更多样化的措辞。
与语言模型交互的基本工具是 Python 语法编写的 Query 块。查询块顶层的每个字符串代表一个单独的查询。查询的目标模型在 Model/from 子句中标识。这指定了生成文本的语言基础,另一方面,Where 子句允许人们设置控制结果的参数。它指定语言模型必须生成什么来维持必要的属性。
LMQL 用户可以对语言模型生成的结果设置复杂的逻辑约束。令牌级预测掩码是根据这些约束自动生成的,因此可以在文本生成一开始就严格执行它们。因此,可以仔细执行各种约束,并且模型将仅生成满足标准的内容。由于改进的输出格式保证,多部分提示和集成变得更加容易。
主要贡献
本研究的作者已经发现并解决了当前 LM 提示方法的几个问题,他们引入了语言模型编程的创新范式。脚本化提示和输出限制是 LMQL(一种 LM 高级查询语言)提供的两个功能。对最终和后续抽象的正式描述,用于急切的部分评估语义。这样,仅给出一些一般准则,就可以自动生成用于 LM 解码的模型特定标记掩码。对 LMQL 的全面分析展示了如何将各种基本和复杂的提示方法表达为简短、易于理解的 LMQL 程序,由于 LMQL 能够将推理成本和执行时间降低多达80%,因此运行速度更快、更准确。
研究人员所做的案例研究表明:
LMQL 的高水平表达能力意味着许多现代、最先进的技术可以用比基于 Python 的同类技术少得多的代码行来实现。使用 LMQL 大大提高了模型查询的数量,从而大大提高了效率和运行时间。得益于 LMQL 的令牌级验证功能,人们可以动态地强制执行约束,而无需采用逐块解码和回溯。LMQL 对模型的准确性没有影响。在某些情况下,施加的限制会导致精度稍微提高。
此外,研究人员还证明,由于观察到计费代币的减少,在付费、API 门控模型中使用 LMQL 可以节省大量资金。最后,他们指出这些案例研究与 LMQL 的综合用户研究是分开的,其中语言的影响和可用性是与现实世界的提示工程师一起评估的。重要的是要记住,缺乏这样的研究会威胁到实用性主张的可信度。
总之,专家们将语言模型编程视为与(巨大)语言模型交互的一种新方法。引入了 LMQL,一种语法简单的高级查询语言。LMQL 的评估语义得到了高效开发,可实现快速查询处理。他们通过案例研究证明了自己的观点,展示了如何将复杂的提示方法转化为简单、清晰、快速的 LMQL 代码,从而可以将计算费用削减多达80%。
OpenAI宣布安卓版ChatGPT已面向16国用户推出
OpenAI官方宣布,安卓版的ChatGPT应用已经面向阿根廷、加拿大、法国、德国、印度尼西亚、爱尔兰、日本、墨西哥、尼日利亚、菲律宾、英国和韩国的用户推出。这意味着安卓用户现在可以在16个国家和地区使用这个应用,来与聊天机器人进行交互,获取问题和建议的答案。据了解,此前美国、印度、孟加拉国和巴西四国的安卓用户已可在谷歌Play商店进行下载使用。站长网2023-07-28 09:58:590000中农网宣布内测白糖产业AI大模型“AI糖”
🔍划重点:1.中农网旗下沐甜科技发布“AI糖”大模型,服务于白糖产业,旨在提供智能助手功能,支持采购、期现交易、行业资讯需求。2.作为白糖行业首个生成式AI大模型,该系统经过多年深耕和数字化探索,具备强大的信息获取、分析和处理能力。3.“AI糖”目前发布的1.0版本仍在快速成长阶段,将与白糖行业各参与者共同协作,不断升级迭代,丰富其功能与应用场景。站长网2023-11-01 15:39:510000AI视野:多模态ChatGPT即将上线;抖音“AI美式证件照”走红;百度发布交通大模型“ACE3.0”
📰🤖📢AI新鲜事多模态ChatGPT即将上线会看图、听声音、说话OpenAI在美东时间9月25日宣布对ChatGPT进行重磅升级,实现了看图、听声音、输出语音内容的三大功能,为通用人工智能(AGI)迈出重要一步。AiBase提要:📸ChatGPT实现多模态功能,支持看图、听声音、说话🗣️新语音功能能生成人类音频,图片理解功能提供多种应用站长网2023-09-26 17:23:400000真我realme GT6发布:售价2799元起
真我GT6手机在7月9日举行了发布活动,正式与消费者见面。这款手机以其卓越的性能和显示技术成为市场上的热点。价格方面,真我GT6提供了多个版本,12GB256GB版定价2799元,16GB256GB版3099元,16GB512GB版3399元,而顶配的16GB1TB版售价为3899元。站长网2024-07-09 17:21:010000Sam Altman:GPT-5,将会比现在的大模型更智能
4月25日晚,斯坦福大学日报消息,OpenAI联合创始人兼首席执行官SamAltman,在斯坦福大学的英伟达(NVIDIA)礼堂进行了公开演讲,超过1000名学生排队参加此次活动。Altman表示,从现在的技术创新和功能迭代来看,人类远远没有达到AI的极限,如果只是聚焦现在的AI能力将会是徒劳的。站长网2024-04-26 14:23:200001