exllamav2
exllamav2：一个用于在现代消费 GPU 上运行本地 LLM 的推理库
exllamav2是一个用于在现代消费级GPU上本地运行大型语言模型（LLM）的快速推理库。它能够利用最新的GPU技术，在不牺牲太多质量的情况下，以非常快的速度对巨大的神经网络进行推理。项目地址:https://github.com/turboderp/exllamav2站长网2023-09-15 10:24:040000
热点
AI Agent再迎一巨头！谷歌重磅发力AI Agent ，商用大爆发！
2024-11-25 15:25:35荣耀数字系列手机！荣耀300 Ultra曝光
2024-11-25 14:20:36这才是真?开源模型！公开「后训练」一切，性能超越Llama 3.1 Instruct
2024-11-26 09:15:19iPhone 17/Air无缘5倍光学变焦镜头：依然Pro独享
2024-11-25 12:31:02直播间年轻人把县城女鞋捧成销冠
2024-11-25 15:28:49AI投毒案！GPT写的代码竟有后门 程序员被骗1.8万元
2024-11-25 12:31:01从1月到10月，微信小游戏头部前二十发生了哪些变化
2024-11-25 15:28:48史诗级加强！微信Windows PC版支持发布朋友圈：落后苹果macOS三年
2024-11-25 12:31:00阿里、京东、拼多多财报出炉，我看到了电商的未来
2024-11-25 15:22:48亚马逊将向 OpenAI 竞争对手 Anthropic 追加投资 40 亿美元
2024-11-25 12:30:59
关注
华为盘古汽车大模型夺得 300+家车企都选它
2024-11-26 09:16:43
吴泳铭乌镇峰会发言：AI时代阿里巴巴专注做好两件事
2024-11-21 09:31:32苹果CEO库克首次现身链博会 称没中国就没现在的苹果
2024-11-26 09:16:42
支付宝上架15万个新工作：活多、日结、离家近
2024-11-21 09:12:36
小米14系列已全量推送澎湃OS 2：流畅度、稳定性大增
2024-11-26 09:16:14特朗普观摩SpaceX星际飞船测试，马斯克火星计划获鼓励
2024-11-21 09:12:34这才是真?开源模型！公开「后训练」一切，性能超越Llama 3.1 Instruct
2024-11-26 09:15:19
曾让“三只羊”年营收上亿的直播切片，现在也能用AI做了？
2024-11-21 09:09:26从1月到10月，微信小游戏头部前二十发生了哪些变化
2024-11-25 15:28:48
AI能办专属信用卡了，Agent自己赚钱自己花，OpenAI合作伙伴打造
2024-11-21 07:35:12
