Prompt 效果评估

Prompt 改动很容易带来错觉：一两个样例变好了，就以为整体变好了。真正的 Prompt 评估要看一组稳定样本，并且能拆出具体指标。

否则 Prompt 调优会变成凭感觉改句子。

评估什么

不同 Prompt 关注点不同：

• RAG Prompt 看忠实度和引用准确性。
• 结构化输出 Prompt 看格式合规率。
• Agent Prompt 看工具选择和停止条件。
• 内容生成 Prompt 看风格一致性和审核通过率。

不能用同一套指标评估所有 Prompt。

样本怎么建

评估样本应该包括：

• 正常成功样本。
• 边界样本。
• 应该拒答的样本。
• 历史失败样本。

每次改 Prompt，都要跑这些样本，避免修好一个问题又破坏另一个问题。

一句话先记住

Prompt 评估的目标，不是找到最会说话的版本，而是找到更稳定、更可控的版本。

继续阅读

• 09-ai-agent-engineering/006-quality-evaluation.md
• 09-ai-agent-engineering/004-prompt-versioning.md