AI Calculator
GPU 本地部署兼容性计算器
根据显存、模型参数、量化方式、上下文和 CPU offload 粗略判断能不能跑。
适合：Ollama、vLLM、本地知识库、私有部署
这是粗略兼容性估算，但新版拆出了模型权重、运行开销、KV cache 和 CPU offload，判断更清楚。
估算总占用
9.2 GB
权重
8.1 GB
KV cache
0.4 GB
可用显存
21.6 GB
显存内可跑
14B 模型在 4-bit / Q4 下约需要 9.2 GB。
真实部署还要给长 prompt、并发和不同推理框架留余量。