AI DEPLOYMENT TOOLKIT

本地大模型部署工具箱

把 vLLM 命令、显存、成本、错误排查和选型这些反复查的问题,变成可直接操作的工具。适合部署 Qwen、Llama、DeepSeek、Ollama、GPUStack 和自建 API 服务时使用。

5

核心工具

0

后端依赖

1 分钟

得到部署建议

这些工具适合怎么用

为什么估算结果和真实运行可能不完全一致?

显存和吞吐会受到模型结构、注意力实现、batch 策略、量化格式、驱动版本和 vLLM 参数影响。工具给的是部署前的保守判断,真正上线前仍建议用目标并发做压测。

报错诊断器会上传我的日志吗?

不会。当前工具全部在浏览器本地运行,不需要后端接口,也不会把日志发送到服务器。

什么时候应该选云端 API?

如果调用量不稳定、没有 GPU 运维经验、对模型效果要求经常变化,云端 API 通常更省事。自建更适合调用量稳定、重视隐私、已有硬件或长期成本压力明显的场景。