AI Agent 应用工程化与可观测性
AI 调用日志设计
介绍 AI 调用日志应记录哪些字段,如何支撑额度扣减、故障排查、质量评估和审计。
AI Agent 应用工程化与可观测性intermediateAI调用日志审计RAG额度
AI 调用日志设计
AI 调用日志的价值,不是多打一份访问记录,而是把一次 AI 结果背后的关键事实留住。没有这些事实,后面很多争议都只剩口水:为什么这次答错了、为什么这次更贵、为什么这个用户能触发这个能力。
所以日志不是附属品,它本身就是治理能力。
一次调用最少该留下什么
最小可用的日志,通常至少要能回答:
- 谁发起了这次调用。
- 调了哪个功能、哪个模型、哪个 Prompt 版本。
- 输入和输出大致是什么。
- 消耗了多少 token、用了多长时间。
- 成功了还是失败了,失败在哪一步。
只要缺掉其中几项,后面排查就会开始靠猜。
RAG 和 Agent 场景为什么更依赖日志
普通问答已经离不开日志,RAG 和 Agent 会更严重,因为它们多了更多中间层:
- 召回了哪些片段。
- 最终喂给模型的是哪几段。
- 调用了哪些工具。
- 中间状态怎样变化。
没有这些记录,很多“模型答错了”的判断其实根本站不住。
记录得越多越好吗
也不是。日志设计要同时考虑:
- 调试价值
- 成本
- 敏感信息风险
有些字段应该脱敏,有些只保留摘要,有些按采样记录。目标不是存一切,而是留下足够支撑成本、评估、审计和排查的证据。
一句话先记住
AI 调用日志不是为了留痕本身,而是为了让一次 AI 结果能被重新解释。
继续阅读
09-ai-agent-engineering/001-ai-engineering-overview.md09-ai-agent-engineering/003-token-cost.md04-rag/010-rag-evaluation.md