限流与重试
聚合平台会在网关与上游两侧保护稳定性。客户端应把 限流、超时、短暂 5xx 当作常态并做好重试。
常见表现
| 现象 | 可能原因 | 建议 |
|---|---|---|
| HTTP 429 | 触发平台或上游限流 | 指数退避后重试；降低并发 |
| HTTP 5xx | 上游瞬时故障或网关忙碌 | 有限次重试；持续失败再升级排查 |
| 客户端超时 | 推理模型较慢或网络抖动 | 超时建议 ≥ 60s；长推理可更高 |
| 空响应 / 截断 | 连接中断、代理缓冲 | 检查代理；优先用流式并做断线重连策略 |
退避建议（示例）
对 429 / 5xx：
- 最多重试 3～5 次
- 间隔例如
0.5s → 1s → 2s → 4s（可加抖动） - 不要对明确的
400/401/403盲目重试
并发与生产
- 按业务峰值压测，观察 429 比例再调并发
- 多应用拆分不同 API Key，便于隔离与限流诊断
- 记录时间戳、模型名、
request id（若有），便于与控制台日志对照