微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT,可以在保持99%,99%,和90%零样本任务性能的同时,将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数(包括嵌入)。
这意味着使用SLICE GPT的模型可以在更少的GPU上运行,并且运行速度更快,无需任何额外的代码优化。在24GB的消费级GPU上,将LLAMA2-70B的总计算量减少到密集模型的64%;在40GB的A100GPU上减少到66%。

论文地址:https://arxiv.org/pdf/2401.15024.pdf
SLICE GPT的主要特点包括解决了大语言模型在存储和计算资源上的高需求问题,并提供了一种有效减轻这些资源需求的方法,同时保持或仅轻微牺牲模型性能,这对于推广大型模型的应用和降低运行成本具有重要意义。
具体来说,SLICE GPT能够减少大型语言模型的尺寸,通过在不损失显著性能的前提下,减少模型参数数量,SLICE GPT能够减少大型语言模型的尺寸。它还能提高模型在硬件上的运行效率,减少了所需的计算资源,并且能够在去除一定比例的模型参数的同时,保持模型的性能。此外,SLICE GPT不仅适用于特定的模型或架构,它的方法可以广泛应用于各种变换器网络模型。
SLICE GPT的工作原理基于一种新的后训练稀疏化方案,通过两个关键步骤来减少大型语言模型的计算和内存需求。首先是替换权重矩阵,通过将模型中的每个权重矩阵替换为一个更小的(密集的)矩阵来减少网络的嵌入维度,有效地缩减了模型的大小。
其次是维持计算不变性,SLICE GPT引入了变换器网络中的“计算不变性”概念,通过特定的变换操作,改变权重矩阵的形状,而不改变其在模型中的功能和影响,从而达到减少模型参数的目的,同时保持模型的性能。这种方法的核心优势在于,它允许模型在去除一定比例的参数后,仍然能够保持接近原始模型的性能,适用于资源受限的设备上部署大型模型,比如普通的个人电脑或者移动设备。
专为中国用户打造!特斯拉推送龙年OTA升级:新增龙年灯光秀等
快科技1月31日消息,近日,特斯拉正式推送了龙年特殊OTA版本升级,本次升级版本号为2023.44.32.1,为用户带来龙年灯光秀”等10项升级。特斯拉官方表示,此次OTA升级是专为中国用户打造。据了解,新的春节特色灯光秀”适用车型为:Model3/Y、新款ModelS/X,用户可通过玩具箱”灯光秀”开启使用,并且支持立即开启或10分钟后开启。站长网2024-01-31 16:48:090000Meta推出像素级动作追踪模型,简易版在线可玩 | GitHub 1.4K星
视频动作跟踪,已经精确到了每个像素!Meta最新推出的视频跟踪工具CoTracker,发布没多久就在GitHub上斩获了1.4k星标。从官方发布的几个DEMO来看,效果还是很震撼的。一场马术比赛中,马匹在骑手的操纵下优雅地跨过障碍,画出了优美的弧线。还有一架帆船乘风破浪,仿佛捉住了风的影子。另一边,一位跳伞运动员从空中划过,留下了一道绚丽的彩虹……站长网2023-09-06 17:47:380002Meta开源数字水印Stable Signature,极大增强生成式AI安全
全球社交、科技巨头Meta(Facebook、Instagram等母公司)在官网宣布,开源数字水印产品StableSignature,并公开论文。据悉,StableSignature是由Meta和INRIA(法国国家信息与自动化研究所)联合开发而成,可将数字水印直接嵌入到AI自动生成的图片中,防止其非法用途。站长网2023-10-10 08:59:340000AI工具集Vondy:集合数百种AI 应用程序
Vondy是一个一体化人工智能网站,适用于您能想到的任何用例。如果你听说过任何类型的人工智能工具但不知道它的名字,就去Vondy搜索一些关键词吧。这是一个非常强大的网站,使用Vondy,你可以在平台上探索并利用数百种AI驱动的工具进行编码、写作、数据科学等,而无需离开平台。体验地址:https://www.vondy.com/站长网2023-08-30 15:02:2300009.9的妙鸭相机,成了AI大模型落地的排头兵
6月30日邀请制内测、7月17日正式上线、7月20日就有近5000人排队使用,一度挤爆服务器;紧接着又传出“霸王条款”“拒不退款”,涉及数据安全、隐私泄漏和消费者权益……妙鸭相机,作为AI大模型初落地的产品,正在经历由天堂到地狱的大喜大悲。虽然争议不绝,但妙鸭相机也让资本看到了大模型产品初落地的商业市场,对AI行业的关注度提升到一个新高度,推动相关概念板块的股价上升。站长网2023-07-28 14:05:110000