积分:239TCV:0TuBi:841坛龄:7年零75天活跃3级
#1
如题,本地部署的话,14b的用16g显存显卡能用gpu跑吗,32b的用32g显存显卡能用gpu跑吗?
我看到过有篇文章提到甚至能用24g显存的4090跑32b deepseek r1,但是限于使用vLLM而不是ollama来跑,我想问下如果用ollama的话以上的14b和32b得有多大显存才能用gpu来跑
积分:264TCV:0TuBi:92坛龄:17年205天
2025-02-02
#2
ollama 4090跑 32b没问题, 70b的话,1秒一个字。 32b的话,十几个字吧
生成环境还是建议买API使用, 或者用qwen2.5coder 32b。 ollama 上的都是量化过的 4bit, 官方是8bit的,阉割过一半精度了 。 普通个人使用,大模型跑不起来 的, 32b以下的 基本都是弱智.
积分:90TCV:7TuBi:395坛龄:2年零23天活跃4级
2025-02-04
#3
win11 24h2现在默认把系统内存共享很大一部分给显卡,所以显存不够也能跑。我96G系统内存,显存只有6G,照样跑14b的模型很流畅。
积分:666TCV:1TuBi:69坛龄:16年326天活跃5级
2025-02-14
#7
这几天在纠结,为感受Deekseek r1 真的要去换电脑吗?给个建议吧。。。。