限流
配置取值优先级、Workspace 余额、消费窗口与完整请求检查顺序见限额与请求准入。
ApiGo 运行配额响应
ApiGo 会独立执行 API Key 与 Workspace 两层 RPM、TPM 和并发限制。拒绝响应包含 HTTP 429、作用域/维度专用的 error.code 和 Retry-After。
| 作用层 | RPM | TPM | 并发 |
|---|---|---|---|
| API Key | api_key_rpm_exceeded |
api_key_tpm_exceeded |
api_key_concurrency_exceeded |
| Workspace | workspace_rpm_exceeded |
workspace_tpm_exceeded |
workspace_concurrency_exceeded |
RPM 与 TPM 连续补充。进行中的请求完成、失败或取消后，并发容量会恢复。
重试策略
- 响应包含
Retry-After时必须遵守。 - 使用带随机抖动的指数退避，并限制最大重试次数。
- 余额或消费额度的
402在底层条件改变前不要重试。 - 在扇出请求到达 Gateway 前限制 Worker 并发。
- 保存
X-Request-Id，用于调用日志与支持请求。
供应商限流
ApiGo 准入后，选中的供应商仍可能执行账号、模型、区域、RPM、TPM 或并发限制。供应商错误会保留原始状态与响应体，不要假设所有供应商都有统一错误码。
路由策略可以把符合条件的流量回退到其他已配置模型或供应商，但不能绕过 Workspace 资金、API Key 消费额度或 ApiGo 运行配额。
工程清单
- 为每个客户端设置明确超时与重试预算
- 分别对 API Key
429、Workspace429、402和供应商失败告警 - 按服务或环境拆分 Key，避免一个工作负载耗尽另一个工作负载的 Key 层
- 监控 Workspace 总流量，因为所有 Key 共用该硬上限
