IBM 推出高效 LLM 基准测试方法,计算成本降低99%
划重点:
⭐️ IBM 研究推出了一种创新的 LLM 基准测试方法,可以将计算成本降低99%。
⭐️ 该高效方法利用微型化基准测试,显著减少了评估 LLM 所需的时间和金钱成本。
⭐️ 新方法已经引起 AI 社区的关注,并被广泛采用,有望推动人工智能模型评估领域的快速发展。
IBM 研究发布了一项突破性的 LLM(大型语言模型)基准测试方法,承诺将计算成本降低高达99%。传统的基准测试,如斯坦福的 HELM,需要耗费超过一天的时间,并且成本高达1万美元,这对开发人员和研究人员来说是一个昂贵的过程。随着 LLMs 能力的增强,基准测试的过程变得更加严格,需要大量的计算能力和时间。
![](https://i.zz5.net/images/article/2024/06/04/145630706.jpg)
IBM 的创新方法源自以色列的 IBM 研究实验室,由 Leshem Choshen 领导的团队开发了一种新方法,大幅降低基准测试的成本。他们并非运行全尺寸基准测试,而是设计了一个使用原始基准测试规模的1% 的 “微型” 版本。令人惊讶的是,这些微型基准测试已被证明几乎同样有效,可以在98% 的准确度内估计出全尺寸测试的性能。
该团队利用人工智能从完整基准测试中选择最具代表性的问题,包含在微小版本中。这种选择性方法确保较小的基准测试仍然高度预测整体模型性能,消除了不贡献有意义评估的冗余或无关紧要的问题。
IBM 的高效方法引起了 AI 社区的关注,尤其是在2023年 NeurIPS 的高效 LLM 比赛中。面临使用有限计算资源评估大量模型的挑战,组织者与 IBM 合作实施了一个名为 Flash HELM 的简化基准测试。这种高效方法使他们能够迅速淘汰表现较差的模型,并将计算资源集中在最有前途的候选模型上,从而进行及时和具有成本效益的评估。
Flash HELM 的成功展示了 IBM 高效基准测试方法的潜力,促使其在 IBM 的 watsonx 平台上评估所有 LLMs。成本节约可观;例如,在像 HELM 这样的基准测试中评估 Granite13B 模型可能耗费高达1000个 GPU 小时,但使用高效基准测试方法显著降低了这些成本。
高效基准测试不仅降低成本,还通过允许更快速地迭代和测试新算法来加速创新。IBM 研究人员,包括 Youssef Mroueh 在内,指出这些方法使得更快速、更经济的评估成为可能,促进了更加灵活的发展过程。
这一概念已经超出了 IBM 的范畴。斯坦福实施了 Efficient-HELM,这是其传统基准测试的简化版本,为开发人员提供了选择示例数量和希望分配的计算资源量的灵活性。这一做法强调了一个新兴共识,即更大的基准测试不一定意味着更好的评估。
“大型基准测试不一定通过变得更大而增加价值,”Choshen 说。“这是我们的见解,我们希望它能够引领更快速、更经济的 LLM 性能评估方法。”
IBM 的高效基准测试方法代表了人工智能领域的重大进步,为评估先进语言模型所需的不断增加的成本和资源需求提供了实际解决方案。
谷歌 DeepMind 首席执行官:人工智能风险类似于气候危机,世界不能拖延应对
站长网2023-10-25 09:12:210000MemGPT:允许开发者创建永久聊天机器人
要点:1.MemGPT是一种新型的语言模型,通过引入内存管理系统,扩展了传统语言模型的能力,可以处理长对话和长文档分析任务。2.在长对话任务中,MemGPT表现出色,优于传统固定上下文语言模型,表明其有效地利用内存维护对话连贯性。3.在文档分析任务中,MemGPT在文档问题回答、键值检索和多跳键值检索等任务中表现出色,利用内存引用长期信息,提高了性能。站长网2023-10-18 21:22:230000微软和 Epic合作,GPT-4 将用于寻找医疗记录的趋势
微软和EpicSystems宣布,正将OpenAI的GPT-4AI语言模型引入医疗保健领域,用于起草医护人员对患者的消息响应,并在寻找趋势的同时分析医疗记录。EpicSystems是美国最大的医疗保健软件公司之一。据报道,美国超过29%的急症医院使用其电子健康记录(EHR)软件(如MyChart),全球超过3.05亿患者在Epic中拥有电子记录。站长网2023-04-19 17:36:270001苹果Apple Store官方在线商店在微信小程序上线
7月11日,AppleStore官方在线商店在微信小程序上线,这为消费者提供了更加便捷的购物体验。首先,消费者可以通过微信直接进入AppleStore官方在线商店,浏览和购买全线Apple产品,包括iPhone14系列、iPad和Mac等。这为用户提供了更加方便的购物方式,省去了繁琐的登录和购物过程。站长网2023-07-12 15:39:550000将他人照片做成表情包发到多个微信群 一男子被判侵权
据“上海高院”公众号消息,在上海市浦东新区人民法院审结的一起名誉权纠纷案件中,被告将原告的照片制作成表情包并发到多个微信群,引发了争议。原告韦先生认为,袁先生编辑其肖像为表情包并在多个群里发布,还添加“花姑娘滴干活”的文字,是侮辱行为,有损形象,韦先生无法接受并已经造成其精神上的困扰。站长网2023-08-30 14:42:380000