AI Calculator
GPU 本地部署兼容性计算器
根据显存、模型参数和量化方式粗略判断能不能跑。
适合：Ollama、vLLM、本地知识库、私有部署
这是显存粗算，不包含具体框架优化、KV cache、并发、上下文长度和显卡带宽差异。
大概率能跑
粗略需要 10 GB 显存。你的显存是 24 GB。
如果要长上下文或多人并发，至少再留 20%-40% 余量。
AI Calculator
根据显存、模型参数和量化方式粗略判断能不能跑。
适合：Ollama、vLLM、本地知识库、私有部署
这是显存粗算，不包含具体框架优化、KV cache、并发、上下文长度和显卡带宽差异。
粗略需要 10 GB 显存。你的显存是 24 GB。
如果要长上下文或多人并发，至少再留 20%-40% 余量。