Way To Agent
AI Agent 应用工程化与可观测性

AI 调用日志设计

介绍 AI 调用日志应记录哪些字段,如何支撑额度扣减、故障排查、质量评估和审计。

AI Agent 应用工程化与可观测性intermediateAI调用日志审计RAG额度

AI 调用日志设计

AI 调用日志的价值,不是多打一份访问记录,而是把一次 AI 结果背后的关键事实留住。没有这些事实,后面很多争议都只剩口水:为什么这次答错了、为什么这次更贵、为什么这个用户能触发这个能力。

所以日志不是附属品,它本身就是治理能力。

一次调用最少该留下什么

最小可用的日志,通常至少要能回答:

  • 谁发起了这次调用。
  • 调了哪个功能、哪个模型、哪个 Prompt 版本。
  • 输入和输出大致是什么。
  • 消耗了多少 token、用了多长时间。
  • 成功了还是失败了,失败在哪一步。

只要缺掉其中几项,后面排查就会开始靠猜。

RAG 和 Agent 场景为什么更依赖日志

普通问答已经离不开日志,RAG 和 Agent 会更严重,因为它们多了更多中间层:

  • 召回了哪些片段。
  • 最终喂给模型的是哪几段。
  • 调用了哪些工具。
  • 中间状态怎样变化。

没有这些记录,很多“模型答错了”的判断其实根本站不住。

记录得越多越好吗

也不是。日志设计要同时考虑:

  • 调试价值
  • 成本
  • 敏感信息风险

有些字段应该脱敏,有些只保留摘要,有些按采样记录。目标不是存一切,而是留下足够支撑成本、评估、审计和排查的证据。

一句话先记住

AI 调用日志不是为了留痕本身,而是为了让一次 AI 结果能被重新解释。

继续阅读

  • 09-ai-agent-engineering/001-ai-engineering-overview.md
  • 09-ai-agent-engineering/003-token-cost.md
  • 04-rag/010-rag-evaluation.md