大模型 API 调用流程

调用大模型 API 看起来只是发一个 HTTP 请求，但它和普通业务 API 有一个根本差异：普通 API 通常返回确定结果，大模型 API 返回的是一次生成结果。

这个差异会影响请求设计、输出校验、重试策略、日志记录和成本控制。

一次调用通常包含什么

一次大模型调用大致会经历这些步骤：

组装消息和上下文
设置模型与参数
发送请求
接收普通响应或流式响应
解析输出
校验格式
记录日志、Token 和成本

如果是 RAG 或 Agent 场景，调用前还可能有检索、工具选择、状态读取；调用后还可能有引用生成、工具执行、结果评估和下一步决策。

请求里最重要的不是一句问题

很多初学者以为请求里最重要的是用户问题。实际上，在应用系统里，请求通常由多部分组成：

• System Prompt：长期规则和边界。
• 用户输入：当前任务。
• 历史消息：对话上下文。
• 外部知识：RAG 召回内容。
• 输出约束：JSON Schema 或格式说明。

这些内容放得越随意，后面越难调试。稳定的模型调用，首先来自稳定的请求结构。

响应必须被处理，而不是直接相信

模型返回的文本不能直接等同于业务结果。

如果只是聊天，直接展示可能够用；如果要驱动业务流程，就必须解析、校验和兜底。尤其是结构化输出、工具调用参数、金额、权限、用户身份这类内容，不能只靠模型“看起来答对了”。

日志是大模型调用的一部分

大模型调用没有日志，就很难复盘问题。

至少应该记录：

• 使用了哪个模型和参数。
• 输入和输出 Token。
• 是否命中缓存或降级。
• 请求耗时和错误原因。
• 输出是否通过校验。

这些信息后面会直接用于成本控制、质量评估和问题排查。

一句话先记住

大模型 API 调用不是“问一句拿答案”，而是一条包含上下文组装、输出校验、日志和成本控制的工程链路。

继续阅读

• 02-llm-basic/003-streaming-response.md
• 02-llm-basic/005-structured-output.md
• 09-ai-agent-engineering/002-ai-call-log.md