问题域/PD-510

多供应商 AI 调度

Multi-Provider AI Dispatch

管理多个 AI 供应商的 Key 轮转、负载均衡、模型能力发现与动态路由

子问题

1.API Key 多 Key 轮询与黑名单

2.功能→供应商动态绑定

3.模型能力自动分类

4.Error-driven 模型限制发现

5.端点格式路由:同一模型在不同平台的 API 端点格式不同

6.Token 预算预检:发送前估算输入 token 避免浪费 API 调用

各项目的解法1 solutions

Signals

横向对比

维度moyin-creator
调度架构三层分离:Feature Router → ApiKeyManager → Model Registry
Key 管理随机起始索引 + 90 秒 TTL 黑名单 + 自动恢复
模型限制发现Error-driven Discovery:从 400 错误正则提取 maxOutput/contextWindow 并持久化
功能绑定AIFeature → platform:model[] 多选绑定 + Round-Robin 轮询
模型分类classifyModelByName 模式匹配自动推断 8 种能力类型
预算控制Token Budget Calculator 发送前检查,超 90% contextWindow 直接拒绝

最佳实践

1.随机起始索引避免热点

2.失败 Key 临时黑名单+自动恢复

3.从 API 错误中学习模型限制并缓存

4.依赖注入解耦循环引用:model-registry 通过 injectDiscoveryCache 避免与 store 循环依赖

5.prefix 匹配按长度降序排列避免短前缀误匹配具体模型