V2EX › 问与答 有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种 52txr · 2h 36m ago · 218 views 3090 24GB 的显卡 64GB DDR5 内存 目前调研能部署的有 Qwen3-Coder-30B-A3B ( Q4_K_M / AWQ )、DeepSeek-R1-Distill-Qwen-32B ( AWQ / INT4 )、DeepSeek-Coder-V2-Lite ( Q4_K_M / Q5_K_M )、DeepSeek-Coder-33B ( Q4_K_M ) 有同志真自己部署了吗,哪一个的效果相对好一点呢?
代码 模型 部署 2 replies • 2026-10-06 19:44:55 +08:00 1 misdake 1h 48m ago 没那么关注,不过前些天我装了个 Strata ( https://github.com/Niko1221/Strata ),也许可以试试。 2 misdake 1h 47m ago 24GB 显存可以搞高精度一点的模型还有长上下文了。