LLM 网关

平台唯一模型出口(铁律 1)| OpenAI 兼容 | 静态路由 + 动态渠道路由 | failover | 租户限流与用量归集

端点

端点说明
POST /llm/v1/chat/completionsOpenAI 兼容对话(支持 stream SSE)
GET /llm/v1/models模型清单(渠道感知:X-OA-Channel 命中渠道模型前置)
POST /llm/v1/embeddings统一向量接口
GET /llm/admin/providers · /admin/usage路由视图 / 按 (租户×渠道×模型) 用量(内网)

租户标识:请求头 X-Tenant-Id(平台服务注入),缺省 default。

两级路由

优先级来源说明
1动态渠道(X-OA-Channel 头)租户自有/指定渠道:orchestrator 按智能体绑定注入,网关从渠道注册表取 base_url + 解密 Key 直达厂商
2平台默认渠道(无头时)平台管理员在控制台「设为默认」★ 的平台池渠道
3静态 providers.yaml 链default → failover 逐个尝试;全部失败且配置了 echo 则兜底(回复带 [echo] 前缀可识别)

预设厂商(控制台一键建渠道)

DeepSeek · 通义千问(百炼)· 智谱 GLM · Kimi 月之暗面 · OpenAI · Anthropic Claude · Google Gemini · 豆包(火山方舟)· MiniMax · 硅基流动 · Ollama 本地 · vLLM 私有 · 自定义。 选预设自动填 BaseURL;保存 Key 后「模型列表」实时拉取厂商 /models 供下拉选择。

直接调用示例(服务端到网关)

curl -s https://openagent-os.com/llm/v1/chat/completions \
  -H "Content-Type: application/json" -H "X-Tenant-Id: my-tenant" \
  -d '{"model":"deepseek-chat","messages":[{"role":"user","content":"hi"}]}'

# 流式:stream=true,SSE 与 OpenAI 完全一致(data: {...} / data: [DONE])

业务系统请优先使用 开放对话 API (自带租户智能体/知识库/限流);直连网关用于平台内部与高级集成。