逻辑模型
逻辑模型是客户端请求里写的模型名,也是路由的落点。它下面挂着一批真实的供应商模型;请求落到它之后,再在其中选一个真正去跑。
控制台左侧的逻辑模型页管理请求优先级、切换模式和模型启停。
一张卡片就是一个逻辑模型
每个逻辑模型是一张卡片:
- 拖动排序调整逻辑模型之间的优先级。
- 卡片内的模型行同样可拖动排序,决定故障转移时的尝试次序。
- 添加模型为当前逻辑模型创建一条调度配置。
不显式添加就不会参与
只有为逻辑模型显式添加过的模型才参与请求。添加时会创建一条调度配置。
两种模式
每张逻辑模型卡片有一个切换:
| 模式 | 行为 |
|---|---|
| 故障转移 | 按顺序尝试下挂的模型,失败自动改试下一个。 |
| 手动指定 | 请求固定用一个上游模型(该行标为「当前指定」,其余待命)。 |
切手动前先加模型
没有任何模型时无法切到手动指定模式。
指标卡片
每张卡片顶部给出四个指标,用来判断谁该排在前面:
| 指标 | 含义 |
|---|---|
| 请求成功率 | 近 N 次已完成请求的成功率。 |
| 平均响应耗时 | 服务该请求那次尝试的完整耗时,含 TTFT。 |
| 平均 TPS | 输出 Token ÷ 该次尝试的完整耗时(含 TTFT)。 |
| 当前可用模型 | 当前可用的模型数,以及近期是否发生过故障转移。 |
每个模型行还会显示:最近一次成功的时间、连续失败次数、是否冷却中、是否已停用。
内建的 default
default 是兜底逻辑模型:未命中其他逻辑模型的请求都落到这里。
- ID 不可改;说明仍然可以编辑。
- 不能被删除。
- 它是请求选路里所有策略的最终安全网。
创建与编辑
创建逻辑模型时填写:
- 逻辑模型 ID:以字母或数字开头,可含字母、数字、点、下划线和连字符,最多 64 字符。请求里的模型名要能直接写成这个 ID,所以允许版本号里的点(如
deepseek-v4.1-flash)。 - 描述(可选)。
ID 就是身份
请求要把它当模型名发出来,路由图也按它引用。改名会在同一次保存里把那些引用一起换掉。
删除逻辑模型
删除后界面不再显示它,命中它的请求会落到 default。
逻辑模型编排好后,去看请求实际怎么选路。