如题,本地部署的话,14b的用16g显存显卡能用gpu跑吗,32b的用32g显存显卡能用gpu跑吗?
我看到过有篇文章提到甚至能用24g显存的4090跑32b deepseek r1,但是限于使用vLLM而不是ollama来跑,我想问下如果用ollama的话以上的14b和32b得有多大显存才能用gpu来跑
我看到过有篇文章提到甚至能用24g显存的4090跑32b deepseek r1,但是限于使用vLLM而不是ollama来跑,我想问下如果用ollama的话以上的14b和32b得有多大显存才能用gpu来跑







