Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
Nvidia 和 Mistral AI 发布了一款新型的小型语言模型,据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B,是 NeMo 12B 的迷你版本,参数量从 120 亿缩减到了 80 亿。

据 Nvidia 深度学习研究副总裁 Bryan Catanzaro 在博客文章中介绍,这款 80 亿参数的小型语言模型通过两种不同的 AI 优化方法实现了规模缩减。开发团队使用了结合剪枝和蒸馏的技术。「剪枝通过去除对准确性贡献最小的模型权重来缩小神经网络的规模。蒸馏过程中,团队在一个较小的数据集上重新训练了这个经过剪枝的模型,从而大幅提高了因剪枝导致的准确性下降。」
这些优化使得开发人员能够在「原始数据集的一小部分」上训练优化后的语言模型,从而在计算成本上节省高达 40 倍。通常情况下,AI 模型需要在模型规模和准确性之间进行权衡,但通过 Nvidia 和 Mistral AI 的新剪枝和蒸馏技术,语言模型可以同时兼顾这两者。
配备了这些增强功能的 Mistral-NeMo-Minitron 8B 据称在九项同类规模的语言驱动 AI 基准测试中表现出色。所节省的计算资源足以让笔记本电脑和工作站 PC 本地运行 Minitron 8B,使其比云服务更快且更安全。
Nvidia 围绕消费者级计算硬件设计了 Minitron 8B。该语言模型被封装为 Nvidia NIM 微服务,并针对低延迟进行了优化,以提高响应速度。Nvidia 通过其定制模型服务 AI Foundry,将 Minitron 8B 调整为能够在低配置设备(如智能手机)上运行。尽管性能和准确性可能略有下降,但 Nvidia 表示该模型仍然是高准确性的语言模型,并且只需极少的训练数据和计算资源。
剪枝和蒸馏技术似乎是人工智能性能优化的下一前沿。理论上,开发者可以将这些优化技术应用于所有现有的语言模型,从而显著提升整体性能,包括那些只能由 AI 加速服务器群组运行的大型语言模型。
只卖600元!Redmi 10A成京东618手机销量王:比iPhone 14 Pro Max受欢迎
快科技6月4日消息,一年一度的618年中大促开始几天了,各种折扣优惠对打算换新手机的消费者来说,确实是一个换机的好时间。据京东手机618竞速榜显示,从5月31日到6月4日12:39,Redmi10A成为京东手机品类销量第一的机型,甚至比iPhone14ProMax卖的还好,部分地区甚至直接卖断货,十分抢手。站长网2023-06-05 19:58:190001元气森林不能输的一战
对产品很熟悉的元气森林创始人唐彬森,在5杯外观一模一样的气泡水中,并没有准备识别出有没有自家产品,以及哪家是自家产品。这样的场景发生在2021年央视《对话》节目上,那年是元气森林高速增长的最后一年,仅无糖气泡水就卖出了1亿箱。投资人们为了拿到一点儿份额,一度让元气森林北京亮马桥办公室的前台“人满为患”。所有人都对未来充满信心。站长网2023-05-15 08:49:330000AI 律师助手:LexisNexis 引入生成式人工智能简化法律工作
文章概要:1.法律软件公司LexisNexis正引入AI技术,以简化法律文书撰写和研究工作。2.AI技术有望帮助律师更高效地进行法律工作,包括文书撰写和查找相关法律案例。3.公司的首席技术官表示,引入类似于ChatGPT的AI功能将改变法律行业的工作方式。LexisNexis是一家法律软件公司,主要提供工具帮助律师找到正确的判例法来进行法律论证。站长网2023-09-11 15:54:070000AirPods 4新增主动降噪版本:售价1399元 9月20日正式发售
在9月10日凌晨的苹果秋季新品发布会上,苹果公司推出了备受期待的全新一代蓝牙耳机——AirPods4。这款耳机以其半入耳式设计,提供了更舒适的佩戴体验,并且特别增加了主动降噪功能,以满足不同用户的需求。AirPods4的发布,标志着苹果在无线耳机领域的进一步创新。标准版AirPods4的售价为999元,而配备主动降噪功能的版本售价为1399元,两款产品都将于9月20日正式发售。站长网2024-09-11 15:25:000000智谱AI的AutoGLM后,Google和微软也下场来做“贾维斯”了。
昨天,微软忽然发布了一个新的模型,能够用于网页自动化操作。他们也正式开卷跟智谱AutoGLM一样自主人工智能了。而前天,我也在TheInformation网站上看到一个消息:标题GooglePrepsAIThatTakesOverComputers,翻译过来就是:谷歌准备推出接管计算机的人工智能。上周三Claude、周五智谱AI、周末Google,然后微软。0000