LLM 网关
平台唯一模型出口(铁律 1)| OpenAI 兼容 | 静态路由 + 动态渠道路由 | failover | 租户限流与用量归集
端点
| 端点 | 说明 |
|---|---|
POST /llm/v1/chat/completions | OpenAI 兼容对话(支持 stream SSE) |
GET /llm/v1/models | 模型清单(渠道感知:X-OA-Channel 命中渠道模型前置) |
POST /llm/v1/embeddings | 统一向量接口 |
GET /llm/admin/providers · /admin/usage | 路由视图 / 按 (租户×渠道×模型) 用量(内网) |
租户标识:请求头 X-Tenant-Id(平台服务注入),缺省 default。
两级路由
| 优先级 | 来源 | 说明 |
|---|---|---|
| 1 | 动态渠道(X-OA-Channel 头) | 租户自有/指定渠道:orchestrator 按智能体绑定注入,网关从渠道注册表取 base_url + 解密 Key 直达厂商 |
| 2 | 平台默认渠道(无头时) | 平台管理员在控制台「设为默认」★ 的平台池渠道 |
| 3 | 静态 providers.yaml 链 | default → failover 逐个尝试;全部失败且配置了 echo 则兜底(回复带 [echo] 前缀可识别) |
- 回环守卫:动态渠道转发的请求带
X-OA-Via,网关见 Via 不再进动态路由——误把渠道指向网关自身也只是一跳后落静态链。 - 故障语义:渠道/上游失败自动落下一级,最终失败返回 502(供编排层 503 降级)。
- 密钥安全:厂商 Key 只存环境变量(静态)或控制台加密列(渠道),网关内存解密使用,日志与配置文件零密钥。
预设厂商(控制台一键建渠道)
DeepSeek · 通义千问(百炼)· 智谱 GLM · Kimi 月之暗面 · OpenAI · Anthropic Claude ·
Google Gemini · 豆包(火山方舟)· MiniMax · 硅基流动 · Ollama 本地 · vLLM 私有 · 自定义。
选预设自动填 BaseURL;保存 Key 后「模型列表」实时拉取厂商 /models 供下拉选择。
直接调用示例(服务端到网关)
curl -s https://openagent-os.com/llm/v1/chat/completions \
-H "Content-Type: application/json" -H "X-Tenant-Id: my-tenant" \
-d '{"model":"deepseek-chat","messages":[{"role":"user","content":"hi"}]}'
# 流式:stream=true,SSE 与 OpenAI 完全一致(data: {...} / data: [DONE])
业务系统请优先使用 开放对话 API (自带租户智能体/知识库/限流);直连网关用于平台内部与高级集成。