Agent 与工具调用

Agent 安全边界

说明 Agent 调用工具、访问数据和执行动作时需要哪些安全边界。

Agent 与工具调用intermediateAgentSafety权限Prompt Injection

Agent 的风险来自它不只是生成文本,还可能访问知识、调用工具、触发业务动作。能力越接近真实系统,安全边界越不能只靠 Prompt 维持。

安全设计的目标不是让 Agent 什么都不能做,而是让它只能在可解释、可审计、可回退的范围内做事。

哪些动作风险最高

高风险动作通常包括:

  • 写数据库。
  • 发送消息或邮件。
  • 调用支付、订单、权限相关接口。
  • 读取敏感文档。
  • 执行用户上传内容里的指令。

这些动作不应该默认自动执行。

服务端必须做什么

服务端至少要接住:

  • 用户身份和资源权限。
  • 工具参数校验。
  • 高风险动作人工确认。
  • 幂等和重试控制。
  • 调用日志和审计记录。

模型只能提出意图,不能拥有最终执行权。

Prompt Injection 为什么危险

RAG 和工具调用都会把外部内容带进上下文。攻击者可能在文档或输入中写入“忽略之前规则”这类指令。

系统要把外部内容当成数据,而不是规则。真正的规则应来自系统层和服务端校验。

一句话先记住

Agent 安全不是让模型更听话,而是让系统有能力限制、确认和追踪它的动作。

继续阅读

  • 06-agent/003-tool-design.md
  • 09-ai-agent-engineering/007-security-and-compliance.md