的推理库
exllamav2：一个用于在现代消费 GPU 上运行本地 LLM 的推理库
exllamav2是一个用于在现代消费级GPU上本地运行大型语言模型（LLM）的快速推理库。它能够利用最新的GPU技术，在不牺牲太多质量的情况下，以非常快的速度对巨大的神经网络进行推理。项目地址:https://github.com/turboderp/exllamav2站长网2023-09-15 10:24:040000
热点
支付宝上架15万个新工作：活多、日结、离家近
2024-11-21 09:12:36AI Agent大爆发！微软刚刚发布大量商用AI Agent，全民智能体！
2024-11-21 09:33:54中厂怎么做AI，聊聊实用主义的美图
2024-11-21 09:35:19特朗普观摩SpaceX星际飞船测试，马斯克火星计划获鼓励
2024-11-21 09:12:34曾让“三只羊”年营收上亿的直播切片，现在也能用AI做了？
2024-11-21 09:09:26AI能办专属信用卡了，Agent自己赚钱自己花，OpenAI合作伙伴打造
2024-11-21 07:35:12一年爆一城，地方文旅如何留住达人流量？
2024-11-21 07:29:38困在凑单里的电商卖家
2024-11-21 07:28:41小米现金储备1516亿 雷军称小米交出史上业绩
2024-11-21 07:28:13不藏了！余承东首秀华为Mate 70真机：金丝银锦材质很特别
2024-11-21 07:27:45
关注
Redmi微信公众号改名为REDMI红米手机：K80系列下周预热
2024-11-17 10:41:50
爱奇艺限制投屏案引热议 原告呼吁：对所有受损会员合理补偿
2024-11-17 10:40:54
字节视频生成模型PixelDance上线即梦AI：用户可免费体验
2024-11-17 10:40:51
时隔3年正式回归连更2条作品 李子柒：还有存货正在剪
2024-11-17 10:40:49
B站发布2024年Q3财报：实现单季度盈利 社区活跃度创新高
2024-11-17 10:40:47
川普赢了，AI圈炸了！英伟达市值突破3.6万亿， OpenAI研究员：他或将见证AGI诞生
2024-11-17 10:03:38从C.ai出走的用户，在Kindroid AI开启“第二春”
2024-11-17 09:57:37
失业小哥在父母卧室做AI应用，日入2万刀！晒账单爆火，AI初创价值3500万
2024-11-17 09:49:19
智谱AI上线4K60帧“新清影”，还要直接开源，我觉得他们疯了。
2024-11-17 09:43:42
本地生活瞄准种草，真的是伪命题吗？
2024-11-16 15:21:26
