路由网关
把部署好的模型发布为可调用 API:端点绑定、按 token 定价、权重优先级与 failover 策略。
本节内容
01
端点与模型绑定
一个端点聚合多个部署实例,对外暴露统一地址。
02
权重与优先级
按节点性能与成本设置流量权重,让请求优先落到快节点。
03
failover 与容灾
实例故障时的自动切换与重试语义,保证调用方无感。
04
端点定价
按 token 计费的定价配置,与租户预算联动。
把部署好的模型发布为可调用 API:端点绑定、按 token 定价、权重优先级与 failover 策略。
一个端点聚合多个部署实例,对外暴露统一地址。
按节点性能与成本设置流量权重,让请求优先落到快节点。
实例故障时的自动切换与重试语义,保证调用方无感。
按 token 计费的定价配置,与租户预算联动。