P40 / P100 / V100:老 Tesla 卡跑本地大模型怎么选
三张卡都来自服务器,但显存类型、带宽、接口和生态差别很大。先确认接口,再按模型大小选显存。
先看接口
这是最容易踩的坑。P40 和 P100 常见的是 PCIe 版本,普通主板加转接供电还能用;V100 同时存在 PCIe 和 SXM2 两种版本,SXM2 必须配专用服务器,普通主板插不上。买之前一定确认接口,不要只看型号。
Tesla P40 24G
Pascal 架构,24GB GDDR5,显存容量是它最大的卖点。可以放下 13B 级量化模型,适合显存刚需、能接受较慢推理速度的场景。缺点是没有视频输出、被动散热、功耗高,需要自己解决风道和供电。
Tesla P100 16G
同样来自 Pascal 世代,但用的是 HBM2,显存带宽明显高于 P40,FP16 性能也更好。16GB 显存比 P40 少,跑大模型时要更仔细地量化。驱动和框架支持不如现代卡,折腾成本高。
Tesla V100 16G
Volta 架构,带 Tensor Core,HBM2 带宽和 FP16 性能都比前两张强,是三者中唯一比较适合认真做推理和轻量微调的。但价格、功耗、散热门槛都更高,而且必须确认是 PCIe 版本。
怎么选
只看显存容量、预算极低:P40 24G。 需要更高显存带宽、能接受折腾:P100 16G。 需要更好的算力和 Tensor Core,预算充足:V100 16G PCIe。
如果只是想在普通台式机上跑 7B 量化模型,一张 12GB 的 RTX 3060 往往比这些服务器卡更省心:有视频输出、驱动简单、散热现成,虽然显存少一些。
共同的风险
服务器卡通常没有保修,状态差异大;被动散热需要改装;部分主板需要开启 Above 4G Decoding;驱动版本要匹配。以上任何一项都可能让「便宜」变成「麻烦」。
本站的跑分数据目前来自公开资料,标注为参考值,不是实测。购买前请以你自己的模型、量化和框架实测为准。