AI Agent 应用工程化与可观测性
Prompt 版本管理
说明 Prompt 为什么需要版本化,以及如何支撑回滚、评估和灰度发布。
AI Agent 应用工程化与可观测性intermediatePrompt版本管理回滚A/B测试
Prompt 一旦进入系统,就不再是临时文案,而是影响模型行为的配置。它会改变回答风格、工具调用、拒答策略和结构化输出,必须像代码一样能追踪、评估和回滚。
没有版本管理,Prompt 调整很容易变成“改了一句,不知道影响了什么”。
为什么要版本化
Prompt 版本至少要回答:
- 当前线上用的是哪一版。
- 这版改了什么。
- 哪些请求用了这版。
- 效果是变好还是变坏。
- 出问题能不能回滚。
这些问题不解决,后续评估和排查都会靠记忆。
应该记录哪些信息
一个可用的 Prompt 版本记录通常包括:
- prompt_id
- version
- template 内容
- 输入变量定义
- 适用场景
- 创建时间和变更说明
- 关联评估样本
如果 Prompt 会参与 RAG 或 Tool Calling,还要记录上下文拼接规则和工具约束。
A/B 测试不只是换文案
Prompt A/B 测试要看真实目标,而不是只看用户主观喜欢。比如 RAG 问答要看忠实度和引用准确性,工具调用要看参数合规率和失败率。
不同场景的指标不同,不能只用“回答更自然”作为结论。
一句话先记住
Prompt 版本管理的核心,是让每次行为变化都能被解释、比较和回滚。
继续阅读
03-prompt-engineering/004-prompt-template-management.md09-ai-agent-engineering/006-quality-evaluation.md