Agent 与工具调用
Agent 安全边界
说明 Agent 调用工具、访问数据和执行动作时需要哪些安全边界。
Agent 与工具调用intermediateAgentSafety权限Prompt Injection
Agent 的风险来自它不只是生成文本,还可能访问知识、调用工具、触发业务动作。能力越接近真实系统,安全边界越不能只靠 Prompt 维持。
安全设计的目标不是让 Agent 什么都不能做,而是让它只能在可解释、可审计、可回退的范围内做事。
哪些动作风险最高
高风险动作通常包括:
- 写数据库。
- 发送消息或邮件。
- 调用支付、订单、权限相关接口。
- 读取敏感文档。
- 执行用户上传内容里的指令。
这些动作不应该默认自动执行。
服务端必须做什么
服务端至少要接住:
- 用户身份和资源权限。
- 工具参数校验。
- 高风险动作人工确认。
- 幂等和重试控制。
- 调用日志和审计记录。
模型只能提出意图,不能拥有最终执行权。
Prompt Injection 为什么危险
RAG 和工具调用都会把外部内容带进上下文。攻击者可能在文档或输入中写入“忽略之前规则”这类指令。
系统要把外部内容当成数据,而不是规则。真正的规则应来自系统层和服务端校验。
一句话先记住
Agent 安全不是让模型更听话,而是让系统有能力限制、确认和追踪它的动作。
继续阅读
06-agent/003-tool-design.md09-ai-agent-engineering/007-security-and-compliance.md