大模型应用基础
大模型的能力边界
介绍大模型在知识、上下文、推理、稳定性和安全方面的常见边界,帮助读者避免把模型能力想象得过满。
大模型应用基础beginnerLLMHallucinationContextEvaluation
理解大模型,不只要知道它能做什么,更要知道它在哪些地方容易失控。
很多 AI 应用失败,不是因为模型完全没能力,而是开发者把模型当成了稳定、全知、可无限推理的普通组件。
模型不知道所有事实
模型参数里包含的是训练阶段形成的统计知识,不等于实时数据库。它可能不知道最新信息,也可能对冷门事实记得不完整。
所以只要问题依赖内部资料、实时数据或强事实准确性,就不能只靠模型本身。RAG、数据库查询、工具调用和引用溯源是必要补充。
模型只能使用当前上下文
模型不会自动记住你的业务系统,除非你把相关信息放进上下文,或者通过工具让它查询。
上下文窗口再大,也不是无限记忆。内容过多时,模型可能忽略关键约束,或者在多个片段之间做出错误关联。
模型会把不确定说得很自然
大模型生成文本时,常常会给出流畅、自信的表达。这不代表它真的知道。
在用户体验上,这种流畅性很迷惑;在工程系统里,这就是风险。尤其是法律、医疗、金融、权限变更、业务审批这类场景,不能让模型的自然语言自信替代校验。
模型稳定性需要外部约束
同一个问题,模型在不同上下文、参数和模型版本下可能给出不同结果。
这不是简单的“模型不听话”,而是生成式系统的基本特性。工程上要通过 Prompt 版本、结构化输出、评估集、日志和回归测试来约束变化。
一句话先记住
大模型适合承担理解、生成和推理的一部分工作,但不适合独自承担事实、权限、流程和最终责任。
继续阅读
04-rag/001-what-is-rag.md06-agent/006-agent-safety.md09-ai-agent-engineering/006-quality-evaluation.md