微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT,可以在保持99%,99%,和90%零样本任务性能的同时,将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数(包括嵌入)。
这意味着使用SLICE GPT的模型可以在更少的GPU上运行,并且运行速度更快,无需任何额外的代码优化。在24GB的消费级GPU上,将LLAMA2-70B的总计算量减少到密集模型的64%;在40GB的A100GPU上减少到66%。
论文地址:https://arxiv.org/pdf/2401.15024.pdf
SLICE GPT的主要特点包括解决了大语言模型在存储和计算资源上的高需求问题,并提供了一种有效减轻这些资源需求的方法,同时保持或仅轻微牺牲模型性能,这对于推广大型模型的应用和降低运行成本具有重要意义。
具体来说,SLICE GPT能够减少大型语言模型的尺寸,通过在不损失显著性能的前提下,减少模型参数数量,SLICE GPT能够减少大型语言模型的尺寸。它还能提高模型在硬件上的运行效率,减少了所需的计算资源,并且能够在去除一定比例的模型参数的同时,保持模型的性能。此外,SLICE GPT不仅适用于特定的模型或架构,它的方法可以广泛应用于各种变换器网络模型。
SLICE GPT的工作原理基于一种新的后训练稀疏化方案,通过两个关键步骤来减少大型语言模型的计算和内存需求。首先是替换权重矩阵,通过将模型中的每个权重矩阵替换为一个更小的(密集的)矩阵来减少网络的嵌入维度,有效地缩减了模型的大小。
其次是维持计算不变性,SLICE GPT引入了变换器网络中的“计算不变性”概念,通过特定的变换操作,改变权重矩阵的形状,而不改变其在模型中的功能和影响,从而达到减少模型参数的目的,同时保持模型的性能。这种方法的核心优势在于,它允许模型在去除一定比例的参数后,仍然能够保持接近原始模型的性能,适用于资源受限的设备上部署大型模型,比如普通的个人电脑或者移动设备。
华为Mate X5将在今日10点08分全面开售 售价12999元起
同在刚刚,华为宣布,华为MateX5将在今日10:08全面开售。据悉,华为MateX5拥有幻影紫、羽砂黑、羽砂白、羽砂金、青山黛5款配色,存储版本包括:12GB512GB、16GB512GB、16GB512GB典藏版16GB1TB典藏版。站长网2023-09-14 12:40:590000Salesforce新AI模型可改善数据分析 XGen-7B基准测试超越Meta的LLaMA-7B
随着对AI工具的需求增加,对能够完成更多任务的系统的需求也越来越大。企业可以通过拥有像ChatGPT或Bard这样的聊天界面来受益,这些界面能够对冗长的文件进行摘要或筛选客户数据以获取见解。但要执行这些任务,模型需要经过大量数据的训练。而企业通常选择了更小、更具成本效益的模型,问题在于这些模型无法很好地处理这些任务。站长网2023-07-04 15:58:070000奥尔特曼将成Reddit IPO最大赢家之一,其持股价值或达4.35亿美元
划重点:-💰萨姆・奥尔特曼可能是Reddit首次公开股票发行中最大的赢家之一,拥有8.7%的股份,估值高达5亿美元。-🚀奥尔特曼是开放AI的首席执行官,OpenAI的估值约为860亿美元,是当前生成式AI热潮的推动者。-🤝奥尔特曼与Reddit的关系可追溯至2014年,曾担任董事,并通过多轮投资持有庞大股份。站长网2024-02-23 16:54:250000三星3月起在多款产品推出AI新功能 覆盖超1亿用户
近日三星集团宣布,将从3月底开始通过软件更新的方式,在旗下多款智能产品上推出人工智能新功能“GalaxyAI”。届时覆盖的产品线将包括GalaxyS23系列、GalaxyZ折叠屏系列,以及平板电脑等在内的多款重量级产品。站长网2024-02-22 15:48:090000魔搭社区推出开源版GPTS“ModelScope Agents”
在OpenaiDEVday上,Openai推出了GPTStores,允许用户通过聊天、直接配置的方式进行GPT的定制,可以自定义知识库以及接入web-browsing、文生图、code-interpreter三个工具的能力。魔搭社区表示,开发者的持续反馈展现了GPTStore存在如下待优化点:黑盒化,开发者难以控制里面的细节,进行二次开发;站长网2023-11-20 09:09:140002