供应商与模型

控制台左侧的模型管理页集中管理上游凭据与模型映射。凭据按供应商保存,可为每个协议配默认接口地址,模型可单独覆盖。

供应商

一个供应商代表一家上游服务。新建 / 编辑供应商时可以配置:

字段说明
供应商名称例如 OpenAI / DeepSeek。
API Key(可选)仅保存在本机;本地或测试集群等无需鉴权的上游可以留空。
请求超时(毫秒)超时后自动切换下一个候选,默认 30000(30 秒)。
支持的协议默认接口地址开启某个协议并填默认地址;模型选用该协议时若不覆盖则沿用。

密钥按供应商保存

上游地址指向该模型真实的端点,需包含协议、主机、路径。地址配错是「拉取不到模型」最常见的原因。

内置若干厂商预设,选择预设会自动填好官网与默认地址;也可以选自定义供应商手动填。

供应商模型

在供应商下添加模型:

  • 模型 ID 是上游识别的名称,请求会原样转发(如 gpt-4o、claude-3-5-sonnet-20241022)。
  • 点拉取模型可直接从上游拉取清单,勾选后批量添加。
  • 一个模型至少启用一个协议端点;默认沿用供应商级地址,也可单独覆盖。

协议转换按端点开关:

协议转换是兼容层

开启后此端点可接收其他协议的请求并自动转换,但部分参数可能丢失。原生请求优先;转换请求仅在没有原生候选时使用。

详见本服务支持的协议。

队列顺序

供应商与模型都支持拖动排序。顺序影响故障转移时的尝试次序(逻辑模型里的顺序才是最终依据,见逻辑模型)。

渠道诊断

要验证一个渠道通不通,用连接测试(渠道诊断):可勾选多个渠道与协议并发验证,并选择诊断模式:

模式做什么
连通性诊断只发一次最小请求,回答链路通不通。
流式诊断要求上游真的按 SSE 逐帧返回,回整包就算失败。
速度诊断量 TTFT 与 TPS,提示词更长、耗时更久。

会花一点钱

每个目标会收到一次真实请求(速度诊断更贵),并记录到请求日志。诊断消息本身保留英文原文。

导入与导出

  • 导出单个或全部供应商,导出内容包含端点、下属模型、协议转换开关与自定义设置。可选包含明文 API Key。
  • 导入时同名供应商会被整体覆盖:包里没有的端点和模型会被删除,因此建议在目标设备确认后再导入。
  • 新建的模型会挂到 default 逻辑模型;已有模型的调度位置不变。

带密钥的导出就是可用凭据

带明文 Key 的导出包等同于可用凭据,请勿通过公开渠道传输;只在你自己设备之间传递。


配好上游后,去逻辑模型把它们编排成可落点的一组。