AI Agent 应用工程化与可观测性
失败处理与降级
说明 AI Agent 应用如何处理模型失败、工具失败、超时和降级回复。
AI Agent 应用工程化与可观测性intermediate降级重试超时失败恢复
AI Agent 应用一定会失败。模型会超时,工具会报错,检索会漏召回,输出会不合规。工程化的重点不是假设它不失败,而是让失败可控。
能不能体面地失败,是 AI 应用能不能上线的分水岭。
失败先分类
不要把所有失败都叫模型错误。至少要分成:
- 输入不明确。
- 检索无结果。
- 模型超时或限流。
- 输出格式不合规。
- 工具执行失败。
- 权限或业务规则拒绝。
不同失败要走不同处理方式。
什么时候重试
重试适合临时错误,比如网络抖动、限流、短暂超时。不适合业务规则拒绝、权限不足和参数明显错误。
盲目重试会浪费成本,也可能重复触发工具副作用。
怎么降级
常见降级方式包括:
- 换更便宜或更稳定的模型。
- 缩短上下文。
- 返回基于检索结果的简化回答。
- 提示用户补充信息。
- 转人工或停止高风险动作。
降级的目标不是装作成功,而是给用户一个可理解的下一步。
一句话先记住
AI 降级不是失败后的客套话,而是系统提前设计好的第二条路。
继续阅读
09-ai-agent-engineering/005-ai-observability.md10-backend-for-ai-agent/008-api-contract-between-java-python.md