AI Agent 应用工程化与可观测性

Prompt 版本管理

说明 Prompt 为什么需要版本化,以及如何支撑回滚、评估和灰度发布。

AI Agent 应用工程化与可观测性intermediatePrompt版本管理回滚A/B测试

Prompt 一旦进入系统,就不再是临时文案,而是影响模型行为的配置。它会改变回答风格、工具调用、拒答策略和结构化输出,必须像代码一样能追踪、评估和回滚。

没有版本管理,Prompt 调整很容易变成“改了一句,不知道影响了什么”。

为什么要版本化

Prompt 版本至少要回答:

  • 当前线上用的是哪一版。
  • 这版改了什么。
  • 哪些请求用了这版。
  • 效果是变好还是变坏。
  • 出问题能不能回滚。

这些问题不解决,后续评估和排查都会靠记忆。

应该记录哪些信息

一个可用的 Prompt 版本记录通常包括:

  • prompt_id
  • version
  • template 内容
  • 输入变量定义
  • 适用场景
  • 创建时间和变更说明
  • 关联评估样本

如果 Prompt 会参与 RAG 或 Tool Calling,还要记录上下文拼接规则和工具约束。

A/B 测试不只是换文案

Prompt A/B 测试要看真实目标,而不是只看用户主观喜欢。比如 RAG 问答要看忠实度和引用准确性,工具调用要看参数合规率和失败率。

不同场景的指标不同,不能只用“回答更自然”作为结论。

一句话先记住

Prompt 版本管理的核心,是让每次行为变化都能被解释、比较和回滚。

继续阅读

  • 03-prompt-engineering/004-prompt-template-management.md
  • 09-ai-agent-engineering/006-quality-evaluation.md