AI Agent 应用工程化与可观测性

失败处理与降级

说明 AI Agent 应用如何处理模型失败、工具失败、超时和降级回复。

AI Agent 应用工程化与可观测性intermediate降级重试超时失败恢复

AI Agent 应用一定会失败。模型会超时,工具会报错,检索会漏召回,输出会不合规。工程化的重点不是假设它不失败,而是让失败可控。

能不能体面地失败,是 AI 应用能不能上线的分水岭。

失败先分类

不要把所有失败都叫模型错误。至少要分成:

  • 输入不明确。
  • 检索无结果。
  • 模型超时或限流。
  • 输出格式不合规。
  • 工具执行失败。
  • 权限或业务规则拒绝。

不同失败要走不同处理方式。

什么时候重试

重试适合临时错误,比如网络抖动、限流、短暂超时。不适合业务规则拒绝、权限不足和参数明显错误。

盲目重试会浪费成本,也可能重复触发工具副作用。

怎么降级

常见降级方式包括:

  • 换更便宜或更稳定的模型。
  • 缩短上下文。
  • 返回基于检索结果的简化回答。
  • 提示用户补充信息。
  • 转人工或停止高风险动作。

降级的目标不是装作成功,而是给用户一个可理解的下一步。

一句话先记住

AI 降级不是失败后的客套话,而是系统提前设计好的第二条路。

继续阅读

  • 09-ai-agent-engineering/005-ai-observability.md
  • 10-backend-for-ai-agent/008-api-contract-between-java-python.md