AMD锐龙AI处理器轻松本地跑DeepSeek:最高支持70B参数
快科技2月12日消息,DeepSeek持续火爆,大家都在体验,但因为服务器承受能力有限,经常会遇到无响应,因此本地部署体验就成了更好的选择,具体规模取决于硬件配置。
AMD是最早在x86处理器领域引入AI能力的,锐龙7040系列就率先集成了独立的NPU AI引擎,此后的锐龙8040系列、锐龙AI 300系列、锐龙AI MAX 300系列都越发强大。
AMD锐龙AI处理器拥有目前行业最强的NPU,算力高达50 TOPS(每秒50万亿次计算),自然是体验DeepSeek的上佳选择。
如果你有一台锐龙AI笔记本,现在就可以通过LM Studio,轻松在本地部署、体验DeepSeek R1精简版推理模型。
具体操作方式如下:
1、安装AMD Adrenalin 25.1.1或更新版显卡驱动。
2、打开lmstudio.ai/ryzenai,并下载LM Studio 0.3.8或更新版本。
3、安装启动LM Studio,可以直接跳过引导屏幕。
4、点击发现”(discover)标签页。
5、选择适合自己的DeepSeek R1 Distill。具体如何选择见后。
6、在软件页面右侧,勾选Q4 K M”量化模式,然后点击下载”。
7、下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeek R1 distill,并确保勾选手动选择参数”(manually select parameters)选项。
8、在GPU卸载”(GPU offload)中,将滑块移到最大值。
9、点击模型加载”(model load)。
10、好了,可以在本地体验DeepSeek R1推理模型了!


不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。
如果是顶级的锐龙AI MAX395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB内存的话需要将可变显存设置为高。
搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。
如果是锐龙AI HX 370、AI 365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。
如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。

另外,AMD推荐将所有Distill运行在Q4 K M量化模式。
如果你使用的是台式机,AMD RX 7000系列显卡也都已支持本地部署DeepSeek R1。
其中,RX 7900 XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX 7600以及新发布的RX 7650 GRE则适合到DeepSeek-R1-Distill-Llama-8B。

LLaVA++:为Phi-3和Llama-3模型增加视觉处理能力
LLaVA项目通过扩展现有的LLaVA模型,成功地为LLaVA和Llama-3模型赋予了视觉能力。这一改进标志着AI在多模态交互领域的进一步发展。主要创新点包括:模型整合:LLaVA将Phi-3和Llama-3模型进行整合,创建了具备视觉处理能力的Phi-3-V和Llama-3-V版本。站长网2024-04-28 16:57:260000消息称新款特斯拉Model 3将9月1日上市:价格定在20万元左右
快科技8月29日消息,特斯拉接下来最为重磅的车型,非新款Model3莫属,近日,综合汽车之家、易车等多家媒体报道,新车将于9月1日上市,而据此前消息,改款Model3或将移除所有雷达,售价进一步降低,定在20万元左右。0000小米14系列最快11月发布:出厂预装MIUI15
高通的最新旗舰处理器骁龙8G3预计将于10月份的骁龙峰会上亮相,并且有望在11月份推出搭载此处理器的安卓旗舰手机。据悉,小米14系列有望成为首批搭载骁龙8G3处理器的手机。站长网2023-08-19 15:58:000000开源论文查询工具DocsGPT登顶GitHub热榜 支持多种文档类型
要点:DocsGPT是一个开源论文查询工具,支持多种文档类型,包括TXT、PDF、ZIP、MD和RST,使用大型模型、Meta相似性搜索库Faiss和LangChain技术来驱动。DocsGPT提供多种模式供用户选择,包括默认的GPT-3.5模式和需要购买Pro的GPT-4模式,还有专门优化的DocsGPT-7b模型。站长网2023-10-07 14:14:530000极氪回应重启IPO:已向SEC备案并进行准备工作
快科技4月3日消息,据消息称,极氪已重启其在美国的IPO计划,计划最多融资5亿美元,约合人民币36.25亿元。极氪表示,公司已向美国证券交易委员会(SEC)备案,并正在进行准备工作。据悉,极氪智能科技控股有限公司已向SEC提交了IPO招股书,计划在纽约证券交易所上市,股票代码为ZK”。然而,由于市场环境的不利影响,极氪已暂缓了在美国的IPO计划。站长网2024-04-08 12:41:400000