AMD锐龙AI处理器轻松本地跑DeepSeek:最高支持70B参数
快科技2月12日消息,DeepSeek持续火爆,大家都在体验,但因为服务器承受能力有限,经常会遇到无响应,因此本地部署体验就成了更好的选择,具体规模取决于硬件配置。
AMD是最早在x86处理器领域引入AI能力的,锐龙7040系列就率先集成了独立的NPU AI引擎,此后的锐龙8040系列、锐龙AI 300系列、锐龙AI MAX 300系列都越发强大。
AMD锐龙AI处理器拥有目前行业最强的NPU,算力高达50 TOPS(每秒50万亿次计算),自然是体验DeepSeek的上佳选择。
如果你有一台锐龙AI笔记本,现在就可以通过LM Studio,轻松在本地部署、体验DeepSeek R1精简版推理模型。
具体操作方式如下:
1、安装AMD Adrenalin 25.1.1或更新版显卡驱动。
2、打开lmstudio.ai/ryzenai,并下载LM Studio 0.3.8或更新版本。
3、安装启动LM Studio,可以直接跳过引导屏幕。
4、点击发现”(discover)标签页。
5、选择适合自己的DeepSeek R1 Distill。具体如何选择见后。
6、在软件页面右侧,勾选Q4 K M”量化模式,然后点击下载”。
7、下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeek R1 distill,并确保勾选手动选择参数”(manually select parameters)选项。
8、在GPU卸载”(GPU offload)中,将滑块移到最大值。
9、点击模型加载”(model load)。
10、好了,可以在本地体验DeepSeek R1推理模型了!


不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。
如果是顶级的锐龙AI MAX395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB内存的话需要将可变显存设置为高。
搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。
如果是锐龙AI HX 370、AI 365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。
如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。

另外,AMD推荐将所有Distill运行在Q4 K M量化模式。
如果你使用的是台式机,AMD RX 7000系列显卡也都已支持本地部署DeepSeek R1。
其中,RX 7900 XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX 7600以及新发布的RX 7650 GRE则适合到DeepSeek-R1-Distill-Llama-8B。

微博辟谣马斯克1.5亿美元在北京买房谣言:多个账号被关闭
快科技9月12日消息,日前,有博主发布马斯克1.5亿美元在北京买房”微博,相关话题和视频在网上引起热议。随后,特斯拉方面回应称是假消息。今日,微博辟谣官微发布公告,对马斯克1.5亿美元在北京买房”等66类在全网流传的典型谣言予以辟除,共清理相关违规内容7893条,处置账号81个。其中对最早发布相关谣言的微博账号@戳戳冰杨梅Neo@江亚哲ooo@北京在逃打工人予以关闭账号处置。0000苹果预告:iOS 18 Beta 2下周发布 将推出iPhone镜像、屏幕共享功能
快科技6月22日消息,苹果发言人弗雷德塞恩斯(FredSainz)最新透露,苹果公司计划下周一(6月24日)发布iOS/iPadOS18Beta2更新。同时,他还确认新版本会推出iPhone镜像和增强SharePlay屏幕共享两项功能。站长网2024-06-23 00:01:340001元乘象ChatImg大模型完成千万元天使轮融资
近日,多模态大模型初创企业“智子引擎”宣布完成千万元天使轮融资,旗下拥有参数规模约150亿的大模型“元乘象ChatImg”,关注微信公众号“元乘象”即可体验。该模型的训练集主要包括图文对数据和视觉问答(VQA)数据,已经在图文匹配、图文检索、图像描述生成和文本描述生成等多个任务上进行了训练,表现出了出色的多模态处理能力。站长网2023-05-23 11:17:010000淘宝修改销量显示规则 由30天月销变为近365天已售件数
淘宝最近修改了销量显示规则,将原来的30天月销改为显示近365天累计已销售件数,并排除了不诚信经营和售中退款等销量。这一改变对于用户、商家和平台都是利好。首先,这个规则鼓励商家在平台上实现长久稳健经营,打造长远品牌。其次,对于新品和新商家,淘宝提供了更多机会,促进创新和原创保护。最后,这一规则激发了中小商家的活力,帮助他们获得持续激励。站长网2023-08-19 15:33:110000北大推出首个多轮多模态PPT任务完成基准PPTC GPT-4完成正确率仅6%
要点:1.北大和微软亚洲研究院的研究人员提出了首个多轮多模态PPT任务完成基准PPTC,以评估大型语言模型在复杂多模态环境中的性能。2.评估表明,GPT-4是在创建新PPT文档任务中表现最强的模型,但仍然存在挑战,如错误累积、处理长PPT模板的能力差,以及多模态指令的复杂性。站长网2023-11-07 22:05:350000