LLMPod
私有化部署 · 多集群 GPU 推理

私有化 LLM 推理的基础设施

把自建 GPU 集群变成可调用、可计费、可容灾的推理 API。集群编排、模型部署、路由网关、多租户计费，开箱即用。

$curl -fsSL https://llmpod.ai/src/download/install.sh -o install.sh && bash install.sh
开始使用阅读文档
Quick Start

一行命令拉起控制面

Install

# 一行安装脚本拉起控制面，自动检查系统依赖与端口要求

$curl -fsSL https://llmpod.ai/src/download/install.sh -o install.sh && bash install.sh

一体化的推理平台

从 GPU 节点到对外推理 API，一条链路打通。不用再自己粘 Prometheus、vLLM、网关和计费。

Cluster

集群编排

多集群拓扑可视化，节点引导脚本秒级接入。实时 GPU 指标、显存利用率、推理链路一目了然。

192 GPU · 24 节点 · 6 集群
Deploy

模型部署

预检 → 部署 → 日志 → 扩缩容，全生命周期。

Gateway

路由网关

端点定价、failover、权重优先级。

Billing

计费与日志

API Key 预算上限、调用日志、多租户 RBAC。按 token 计费，按租户隔离，调用可追溯。

按 token 计费 · 多租户隔离 · 调用可追溯
How it works

五步从 GPU 到推理 API

  1. 01

    注册节点

    节点列表签发引导命令，GPU 机器执行后自动注册上线。

  2. 02

    上传模型

    HuggingFace / 本地文件，探测回填信息，分片上传。

  3. 03

    部署预检

    推荐放置 + 显存余量 + 清单校验，确认页一次看清。

  4. 04

    启动推理

    vLLM / SGLang 流水线编排，多副本健康检查就绪。

  5. 05

    发布路由

    对外模型名、按 token 定价、failover，OpenAI 兼容 API。

LLMPOD / CONTROL PLANEconsole.llmpod.ai
节点列表 · 注册节点
$ curl -fsSL 'https://api.llmpod.ai/agent/install.sh' | bash -s -- \
    --server=api.llmpod.ai:8443 \
    --pool=prod-a \
    --token=bt_8f3d…

node-cn-1a 已注册 · 24 GPU · 在线

引导令牌 8h 内可重复使用 · 多台机器复用

模型管理 · 添加模型
Qwen/Qwen2.5-7B-Instruct4.2 / 6.8 GB

清单预检通过 · 探测回填格式与架构

HuggingFace / OSS / 本地文件 · 分片上传 · 断点续传

部署管理 · 确认部署
  • 显存余量（单卡）+18.6 GB
  • 放置规划2 副本 · 4 卡/份
  • 模型清单校验已通过
  • 引擎镜像建议 vllm:0.6.0
部署详情 · 流水线 · vLLM
  • 下载模型14.5 GB
  • 拉取镜像vllm:0.6.0
  • 主节点健康检查通过
  • 工作节点健康检查11 / 12
  • 生成端点—
模型发布 · 路由配置
api.llmpod.ai/v1 · OpenAI 兼容
对外模型名
qwen2.5-7b-instruct
定价
输入 ¥2 / 输出 ¥6 每百万 token
failover
最多切换 3 次 · 自动重试
CLUSTER / ONLINE
CURRENT STEP01 · 注册节点
控制台逐步演示05 STEPS / GPU → API

准备好在自己的 GPU 上跑推理了吗

一行命令接入节点，几分钟内部署模型，立刻对外提供推理 API。

开始使用联系我们