逻辑模型

逻辑模型是客户端请求里写的模型名,也是路由的落点。它下面挂着一批真实的供应商模型;请求落到它之后,再在其中选一个真正去跑。

控制台左侧的逻辑模型页管理请求优先级、切换模式和模型启停。

一张卡片就是一个逻辑模型

每个逻辑模型是一张卡片:

  • 拖动排序调整逻辑模型之间的优先级。
  • 卡片内的模型行同样可拖动排序,决定故障转移时的尝试次序。
  • 添加模型为当前逻辑模型创建一条调度配置。

不显式添加就不会参与

只有为逻辑模型显式添加过的模型才参与请求。添加时会创建一条调度配置。

两种模式

每张逻辑模型卡片有一个切换:

模式行为
故障转移按顺序尝试下挂的模型,失败自动改试下一个。
手动指定请求固定用一个上游模型(该行标为「当前指定」,其余待命)。

切手动前先加模型

没有任何模型时无法切到手动指定模式。

指标卡片

每张卡片顶部给出四个指标,用来判断谁该排在前面:

指标含义
请求成功率近 N 次已完成请求的成功率。
平均响应耗时服务该请求那次尝试的完整耗时,含 TTFT。
平均 TPS输出 Token ÷ 该次尝试的完整耗时(含 TTFT)。
当前可用模型当前可用的模型数,以及近期是否发生过故障转移。

每个模型行还会显示:最近一次成功的时间、连续失败次数、是否冷却中、是否已停用。

内建的 default

default 是兜底逻辑模型:未命中其他逻辑模型的请求都落到这里。

  • ID 不可改;说明仍然可以编辑。
  • 不能被删除。
  • 它是请求选路里所有策略的最终安全网。

创建与编辑

创建逻辑模型时填写:

  • 逻辑模型 ID:以字母或数字开头,可含字母、数字、点、下划线和连字符,最多 64 字符。请求里的模型名要能直接写成这个 ID,所以允许版本号里的点(如 deepseek-v4.1-flash)。
  • 描述(可选)。

ID 就是身份

请求要把它当模型名发出来,路由图也按它引用。改名会在同一次保存里把那些引用一起换掉。

删除逻辑模型

删除后界面不再显示它,命中它的请求会落到 default。


逻辑模型编排好后,去看请求实际怎么选路。