大模型应用基础概念

大模型应用的基础概念，看起来像一堆术语，实际上都在解释同一件事：为什么模型调用不像普通 API 那样稳定。Token、上下文窗口、System Prompt、Temperature 这些词，如果只停留在定义层，你很难真正理解它们为什么会影响成本、输出质量和系统设计。

这篇文章的目标不是讲模型内部原理，而是帮你建立应用视角。

Token 不只是计费单位

很多人第一次接触 Token，只记住它和价格有关。其实它至少同时影响三件事：

• 你一次请求能塞多少内容。
• 模型处理一次请求要花多少成本。
• 上下文过长时，回答稳定性会不会下降。

所以 Token 不是财务问题，它同时还是产品和工程问题。

上下文窗口决定模型能看见什么

模型再强，看不见的信息也用不上。上下文窗口决定了一次请求里能放下多少历史消息、检索片段、系统约束和输出格式要求。

这会直接影响：

• RAG 召回结果怎么裁剪。
• 多轮对话历史保留多少。
• 结构化输出约束能写多细。

窗口不够大时，问题不只是“内容放不下”，还会逼你做更严格的取舍。

System Prompt 和用户输入不是一回事

这两个层次经常被混写，后面就会越来越乱。更稳的理解是：

• System Prompt 负责长期规则和边界。
• 用户输入 负责当前任务。
• 检索内容 负责补外部知识。

把它们分开，不只是写得更整齐，而是后面更容易做版本管理、评估和审计。

参数为什么会影响系统设计

Temperature、最大输出长度、停止条件这些参数，看起来像模型侧细节，实际上会反过来影响系统行为。

• Temperature 高，结果更发散，也更难复现。
• 输出长度高，成本和超时风险更高。
• 不同模型对同一参数的敏感度并不一样。

所以参数不是随手一调的“小旋钮”，而是系统边界的一部分。

一句话先记住

基础概念的价值，不是记住定义，而是理解模型调用为什么天生带着成本、不确定性和边界约束。

继续阅读

• 02-llm-basic/002-model-selection-and-parameter-tuning.md
• 02-llm-basic/003-streaming-response.md
• 03-prompt-engineering/001-what-is-prompt-engineering.md