Deekseek r1本地部署,14b和32b最小需要多大显存吗

#1
如题,本地部署的话,14b的用16g显存显卡能用gpu跑吗,32b的用32g显存显卡能用gpu跑吗?

   我看到过有篇文章提到甚至能用24g显存的4090跑32b deepseek r1,但是限于使用vLLM而不是ollama来跑,我想问下如果用ollama的话以上的14b和32b得有多大显存才能用gpu来跑
2025-02-02
#2
ollama 4090跑 32b没问题, 70b的话,1秒一个字。 32b的话,十几个字吧
生成环境还是建议买API使用, 或者用qwen2.5coder 32b。 ollama 上的都是量化过的 4bit, 官方是8bit的,阉割过一半精度了 。 普通个人使用,大模型跑不起来 的, 32b以下的 基本都是弱智.
2025-02-04
#3
win11 24h2现在默认把系统内存共享很大一部分给显卡,所以显存不够也能跑。我96G系统内存,显存只有6G,照样跑14b的模型很流畅。
2025-02-05
#4
本地部署的是智障,671b究极版好使啊
https://cloud.siliconflow.cn/i/NW1BeM6a
用我邀请码注册,你我各获得2000万Tokens,够用一段时间了
没个性,不签名
2025-02-10
#5
671b,已注册。获得2000万Tokens
https://cloud.siliconflow.cn/i/80TPaMOV
2025-02-14
#6
好像开始收费了?
2025-02-14
#7
这几天在纠结,为感受Deekseek r1 真的要去换电脑吗?给个建议吧。。。。
2025-02-15
#8
回复 7# changtool
没有见过谁因为喜欢一道菜,要去自己开个饭店的。
2025-02-18
#9
回复 8# shirly
谢谢,也是这个理哦。。。。。
2025-02-25
#10
回复 7# changtool
没必要,除非真有断网离线使用的场景。即便是70B的模型使用体验也很一般,还是得满血