供应商与模型

控制台左侧的模型管理页集中管理上游凭据与模型映射。凭据按供应商保存,可为每个协议配默认接口地址,模型可单独覆盖。

OSW「模型管理」页:左侧是供应商列表,右侧是该供应商下的模型清单。

供应商

一个供应商代表一家上游服务。新建 / 编辑供应商时可以配置:

字段说明
供应商名称例如 OpenAI / DeepSeek。
API Key(可选)仅保存在本机;本地或测试集群等无需鉴权的上游可以留空。
请求超时(毫秒)超时后自动切换下一个候选,默认 30000(30 秒)。
支持的协议默认接口地址开启某个协议并填默认地址;模型选用该协议时若不覆盖则沿用。

密钥按供应商保存

上游地址指向该模型真实的端点,需包含协议、主机、路径。地址配错是「拉取不到模型」最常见的原因。

内置若干厂商预设,选择预设会自动填好官网与默认地址;也可以选自定义供应商手动填。

供应商模型

在供应商下添加模型:

  • 模型 ID 是上游识别的名称,请求会原样转发(如 gpt-4o、claude-3-5-sonnet-20241022)。
  • 点拉取模型可直接从上游拉取清单,勾选后批量添加。
  • 一个模型至少启用一个协议端点;默认沿用供应商级地址,也可单独覆盖。

协议转换按端点开关:

协议转换是兼容层

开启后此端点可接收其他协议的请求并自动转换,但部分参数可能丢失。原生请求优先;转换请求仅在没有原生候选时使用。

详见本服务支持的协议。

保存前先测一下

添加或编辑模型时,取消与保存之间有一个测试连接按钮。它拿的是当前表单里还没保存的那份值:某个协议的地址刚改完,不用先保存就能知道通不通。

  • 只测启用中的那几个协议,每个各发一次最小请求;结果逐协议一条,三个里通了两个能看见是哪一个没过。
  • 模型 ID 原样写进请求体——它回答的正是「上游认不认这个名字」。
  • 覆盖地址只写了相对路径(如 /v1beta/messages)时,会以该协议在供应商级的地址为基准补全。
  • 测完什么都不保存,也不写请求日志、不影响供应商健康状态与冷却。它是探针,不是一次真实代理请求——它与渠道诊断是两件事(那边测的是已保存的配置,并照实记账)。

测的是原生协议连通性

这个按钮不会走协议转换:它以端点自己的协议发一次原生请求。要验证「客户端协议 → 端点协议」的转换链路,用下面的渠道诊断。

队列顺序

供应商与模型都支持拖动排序。顺序影响故障转移时的尝试次序(逻辑模型里的顺序才是最终依据,见逻辑模型)。

渠道诊断

要验证一个渠道通不通,用连接测试(渠道诊断):可勾选多个渠道与协议,诊断会逐个目标串行验证(同一时刻只有一个请求在飞,避免读数互相干扰),并选择诊断模式:

模式做什么
连通性诊断只发一次最小请求,回答链路通不通。
流式诊断要求上游真的按 SSE 逐帧返回,回整包就算失败。
速度诊断量 TTFT 与 TPS,提示词更长、耗时更久。

会花一点钱

每个目标会收到一次真实请求(速度诊断更贵),并记录到请求日志。诊断消息本身保留英文原文。

导入与导出

  • 导出单个或全部供应商,导出内容包含端点、下属模型、协议转换开关与自定义设置。可选包含明文 API Key。
  • 导入时同名供应商会被整体覆盖:包里没有的端点和模型会被删除,因此建议在目标设备确认后再导入。
  • 新建的模型会挂到 default 逻辑模型;已有模型的调度位置不变。

带密钥的导出就是可用凭据

带明文 Key 的导出包等同于可用凭据,请勿通过公开渠道传输;只在你自己设备之间传递。


配好上游后,去逻辑模型把它们编排成可落点的一组。