老卡不老,只是便宜。

24GB 显存可以跑 13B 级量化模型,推理性价比高;但算力老、散热和供电要自己解决。

FP16 性能不错,适合小模型推理;框架和驱动支持不如现代卡,折腾成本高。

11GB 显存 + Turing 算力,可以跑 7B 级模型;魔改 22G 版本是另一条路线,风险自行评估。

12GB 显存可以跑 7B~13B 量化模型,是低价本地推理的常见入门卡。