AI 质量评估

AI 质量评估解决的是“系统到底有没有变好”这个问题。只看几次演示，很容易被好答案骗过去；只看用户感觉，又很难知道问题来自哪里。

评估要把模糊的“效果不错”拆成可观察的维度。

评估样本从哪里来

评估样本通常来自三类：

• 设计阶段准备的标准问题。
• 真实用户高频问题。
• 线上失败案例沉淀。

标准问题保证覆盖基础能力，真实问题保证贴近使用场景，失败案例保证系统不会反复踩同一个坑。

评分维度怎么拆

不同能力评估维度不同：

• RAG：检索命中、引用准确、回答忠实。
• Prompt：格式稳定、边界清晰、拒答合理。
• Agent：工具选择、参数合法、任务推进、停止正确。

不要把所有问题都压成一个总分。总分可以有，但必须能拆回具体失败层。

自动评估和人工反馈怎么配合

自动评估适合做回归和批量对比，人工反馈适合发现新问题。两者应该互补。

如果只靠人工反馈，迭代慢；如果只靠自动评估，又容易把评估标准写窄。

一句话先记住

AI 质量评估不是证明系统完美，而是让改动有依据、失败能复盘。

继续阅读

• 04-rag/010-rag-evaluation.md
• 09-ai-agent-engineering/005-ai-observability.md